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从 人 类 文明 发 展 至 今 ， 数 字 一 直 伴随 着 人 们 的 生活 。 数 字 量 增多 ， 就 演变 成 数据 。 一 
直 以 来 ， 越 来 越 多 的 数据 对 任何 想 要 对 其 进行 整理 和 分 析 的 人 而 言 ， 都 是 一 项 挑战 。 

随 着 网 络 信息 技术 的 加 速 发 展 和 应 用 ， 物 联网 、 移 动 互联 、 社 交 网 络 等 大 大 拓展 了 互 
联网 的 疆界 和 应 用 领域 ， 数 据 正 以 前 所 未 有 的 速度 在 不 断 地 增长 和 累积 ， 大 数据 时 代 的 大 
幕 已 经 开启 。 大 数据 在 社会 经 济 、 政 治 、 文 化 、 生 活 等 各 方面 产生 了 深远 的 影响 ， 将 给 各 
行 各 业 的 发 展 模式 和 决策 带 来 前 所 未 有 的 革新 与 挑战 。 

当前 电力 行业 迫切 需要 推动 大 数据 技术 在 电网 中 的 应 用 ， 来 有 效 提升 电力 企业 运营 管 
理 水 平和 服务 用 户 的 水 平 。 借 助 大 数据 技术 ， 对 电网 运行 的 实时 数据 和 历史 数据 进行 深层 
挖 所 分析， 可 掌握 电网 的 发 展 和 运行 规律 ， 优 化 电网 规划 ， 实 现 对 电网 运行 状态 的 全 局 掌 
控 和 对 系统 资源 的 优化 控制 ， 提 高 电网 的 经 济 性 、 安 全 性 和 可 靠 性 。 

本 书 在 借鉴 国内 外 大 数据 领域 研究 应 用 成 果 的 基础 上 ， 结 合 电 网 行业 运营 管理 现状 ， 
提出 了 电网 大 数据 概念 ， 详 细 分 析 了 在 大 数据 时 代 下 电网 行业 所 面临 的 机 遇 和 挑战 。 

全 书 共 分 为 11 章 ， 第 1 章 简要 介绍 了 大 数据 的 概念 、 现 状 及 其 影响 。 

第 2、3 章 详细 介绍 了 电网 大 数据 的 定义 、 特 征 及 发 展 前 景 。 

第 4 章 重点 介绍 了 智慧 能 源 大 数据 在 美洲 、 欧 盟 以 及 日 本 、 中 国 的 发 展现 状 和 典型 案例 。 

第 5 一 10 章 分 别 从 电网 大 数据 资源 、 应 用 技术 、 通 信 技 术 及 分 析 挖 掘 技术 等 方面 进行 
了 详细 介绍 。 

第 11 章 围绕 当前 电力 大 数据 应 用 前 景 及 发 展 形势 ， 大 数据 在 电网 企业 的 应 用 价值 和 竞 
争 力 等 方面 进行 了 介绍 。 

本 书 适合 电力 系统 广大 工作 人 员 阅 读 ， 也 可 作为 政府 部 门 、 科 研 机 构 、 能 源 行业 相关 
协会 组 织 、 电 力 用 户 、 电 力 供应 商 和 相关 专业 工程 技术 人 员 、 高 等 院 校 师 生 的 参考 用 书 。 

本 书 中 如 有 不 当 之 处 ， 尽 请 读者 批评 指正 。 
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第 1 章 
大 数据 概述 


基于 大 数据 的 智慧 电网 技术 


大 数据 是 一 个 代表 了 重要 发 展 趋势 的 概念 ， 它 正在 改变 人 们 对 生活 和 世界 的 理解 方 
式 ， 成 为 下 一 个 创新 、 竞 争 和 生产 力 的 前 沿 ， 将 在 政治 、 经 济 、 社 会 、 科 研 等 领域 引发 
重大 变革 ， 给 处 于 这 个 时 代 的 企业 带 来 难得 的 机 遇 和 巨大 的 挑战 。 大 数据 这 个 概念 自 
诞生 以 来 ， 引 发 了 人 们 的 思维 变革 ， 创 造 了 巨大 的 商业 价值 ， 向 企业 管理 提出 了 全 新 
的 挑战 。 

我 们 认识 大 数据 必须 从 思维 变革 、 商 业 价值 和 管理 创新 这 三 重 属 性 来 理解 。 国 家 电网 
公司 在 2014 年 工作 报告 中 指出 : “把 数据 资源 作为 公司 战略 资产 ， 加 强 集中 管理 ， 实 现 全 
公司 信息 共享 。 强 化 数据 分 析 ， 提 升 数据 应 用 水 平和 商业 价值 。” 这 一 重要 论述 为 电力 企 
业 开启 大 数据 进程 指明 了 方向 。 


1.1 大 数据 源 起 


大 数据 的 概念 源 于 美国 ， 是 由 思科 、 威 瑞 、 甲 骨 文 、IBM 等 公司 倡议 发 展 起 来 的 。 大 
约 从 2009 年 始 ，“ 大 数据 ”成 为 互联 网 信息 技术 行业 的 流行 词汇 。 事 实 上 ， 大 数据 的 运用 
在 此 之 前 已 为 一 些 先行 者 所 成 功 实践 。 早 在 20 世 纪 90 年 代 ， 沃 尔 玛 公司 就 充分 运用 自身 掌 
握 的 海量 数据 资源 成 功 降低 了 库存 和 缺 货 率 ， 从 而 获得 了 重要 的 成 本 比较 优势 。IBM、 麦 
肯 锡 、 中 国 工业 和 信息 化 部 等 组 织 与 机 构 从 不 同 视角 都 给 出 了 大 数据 的 定义 ， 虽 然 定 义 不 
尽 相 同 ， 但 是 都 包含 了 这 样 几 个 重要 的 基本 特征 : 一 是 数据 量 大 ， 数 据 量 从 GB、TB 级 跃 
升 到 PB、EB 级 (1PB=1024TB，1EB=1024PB) ;二 是 数据 类 型 多 样 化 ， 不 仅 包含 结构 化 
数据 ， 还 包括 大 量 的 半 结 构 化 、 非 结构 化 数据 ， 如 音 视 频数 据 、 社 交 网 络 数据 ;三 是 数据 
量 增长 速度 快 ， 据 美国 互联 网 数据 中 心 指出 ， 互 联网 上 的 数据 每 年 将 增长 530% 以 上 ， 每 两 
年 翻 一 番 ， 开 启 了 新 的 “数据 摩尔 定律 ”; 四 是 数据 价值 密度 低 ， 数 据 的 深度 挖 据 、 去 元 
降 噪 和 价值 提纯 成 为 大 数据 实践 所 面临 的 一 大 课题 。 

数据 的 价值 早已 为 人 们 所 认识 ， 但 是 大 数据 所 带 来 的 巨大 商业 价值 显然 超过 了 人 们 的 
预期 ， 它 所 引发 的 思维 变革 将 产生 深远 的 影响 ， 是 未 来 管理 创新 的 最 大 驱动 力 。 
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1.2 大 数据 的 商业 价值 


2013 年 以 来 ， 最 受 欢迎 的 美国 电视 剧 《 纸 牌 屋 》 可 谓 一 个 大 数据 颠覆 传统 商业 模式 的 
生动 案例 。 人 们 普遍 认为 《纸牌 屋 》 是 “大 数据 ”算出 来 的 。1997 年 成 立 的 Netflix 公 司 凭 
借 自 身 所 拥有 超过 3000 万 用 户 收视 行为 的 大 数据 ， 运 用 先进 算法 准确 预测 了 具有 “政治 惊 
悚 ”元 素 的 电视 剧 将 受到 众多 “中 年 男士 ”的 欢迎 ， 据 此 ，Netflix 公 司 精准 定制 了 该 剧 。 
2013 年 3 月 ， 该 剧 推出 之 前 公司 股价 不 到 100 美 元 ， 播 出 一 年 半 后 ， 股 价 超过 450 美 元 ， 成 
为 标准 普尔 500 指 数 成 分 股 中 涨幅 最 高 的 股票 之 一 。Netflix 公 司 的 这 一 做 法 正在 颠覆 传统 
的 影视 剧 制作 商业 模式 和 推广 模式 ， 我 们 有 理由 相信 ，《 纸 牌 屋 》 成 功 的 背后 所 引发 的 思 
考 将 给 商业 带 来 远 超 我 们 想象 的 变革 。 

大 数据 带 来 了 巨大 的 商业 价值 ， 比 如 IBM、 人 谷歌、 亚马逊 、Netflix 公 司 等 领先 企业 已 
经 获得 了 巨大 的 回报 。IBM 启 动 了 极 具 雄心 的 大 数据 战略 ， 近 年 来 已 经 陆续 收购 了 软件 
公司 StoredIQ、 大 文件 传输 技术 公司 Aspera 等 数据 企业 ，2014 年 初 启动 了 投资 10 亿 美元 
的 沃 森 项 目 。 截 至 目前 ，IBM 在 大 数据 领域 的 投资 已 经 达到 了 240 亿 美元 ， 全 面 布局 大 
数据 战略 。 

大 数据 时 代 将 产生 以 数据 为 核心 的 商业 生态 ， 数 据 的 采集 、 存 储 、 处 理 、 分 析 、 应 用 
等 都 能 带 来 巨大 的 价值 。 研 究 表明 ， 大 数据 生态 链 将 由 数据 归 集 、 数 据 处 理 、 方 案 解决 和 
价值 发 现 等 四 个 层次 组 成 ， 每 个 企业 都 要 结合 自身 实际 找 准 自己 在 大 数据 商业 生态 中 的 位 
置 。 此 外 ， 大 数据 商业 模式 的 成 功 案例 也 在 快速 增长 。 大 数据 企业 的 IT 部 门 不 再 是 成 本 中 
心 ， 而 将 会 转变 成 为 重要 的 利润 中 心 。 

麦肯锡 公司 认为 ， 随 着 人 们 存储 、 汇 聚 和 组 合 数据 然后 利用 其 结果 进行 深入 分 析 的 能 
力 超过 以 往 ， 随 着 采用 尖端 技术 的 软件 与 不 断 提高 的 计算 能 力 相 结合 ， 从 数据 中 提取 极 具 
价值 信息 的 能 力也 在 显著 提高 。 麦 肯 锡 公司 预计 ， 如 果 能 够 创造 性 且 有 效 地 利用 大 数据 来 
提高 效率 和 质量 ， 美 国医 疗 行业 每 年 通过 数据 获得 的 潜在 价值 可 超过 3000 亿 美元 ， 能 够 使 
美国 医疗 卫生 支出 降低 超过 8%; 充分 利用 大 数据 的 零售 商 有 可 能 将 其 经 营利 润 提高 60% 
DE: 


1.3 ”大 数据 引发 思维 变革 


大 数据 开启 了 一 次 重要 的 时 代 转 型 ， 理 解 大 数据 内 涵 、 把 握 大 数据 时 代 的 脉搏 需要 变 
革 我 们 的 思维 ， 其 关键 是 要 把 握 3 个 重要 转变 。 
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第 1 个 重要 转变 是 分 析 数 据 全 体 而 不 是 样本 。 基 于 科技 进步 ， 在 大 数据 时 代 人 们 可 以 
存储 、 分 析 更 多 的 数据 ， 甚 至 是 分 析 某 一 现象 的 所 有 数据 ， 而 不 再 依赖 传统 的 样本 分 析 ， 
大 数据 时 代 “ 样 本 即 全 体 ”。 分 析 全 体 数据 将 让 人 们 看 到 一 些 以 前 无 法 发 现 的 细节 ， 大 数 
据 让 人 们 更 清楚 地 看 到 了 样本 无 法 揭示 的 细节 信息 ， 带 来 了 更 深刻 的 洞察 力 。Netflix 公 司 
推出 《纸牌 屋 》 的 成 功 就 是 基于 对 全 体 用 户 数据 分 析 而 获得 的 极 具 价值 的 信息 。 

第 2 个 重要 转变 是 追求 数据 的 量 更 其 于 追求 数据 的 精确 度 。 大 数据 时 代 由 于 信息 海量 
化 和 数据 类 型 多 样 化 ， 在 许多 方面 数据 的 精确 性 不 再 那么 重要 ， 适 当 忽略 微观 层面 的 精确 
度 能 让 人 们 在 宏观 层面 拥有 更 加 深刻 的 洞察 力 。2009 年 ， 谷 歌 公司 通过 人 们 的 搜索 行为 成 
功 预 测 了 美国 一 些 州 甲 型 了 IN1 流 感 的 爆发 ， 虽 然 网 民 的 搜索 行为 具有 极 大 的 随意 性 ， 但 
海量 的 数据 信息 掩盖 了 数据 的 随意 性 和 不 精确 性 ， 使 分 析 人 员 最 终 做 出 了 采用 样本 分 析 法 
一 直 想 做 但 从 未 实现 的 流行 病 精准 预测 。 

第 3 个 重要 转变 是 寻找 相关 关系 比 寻找 因果 关系 更 重要 。 大 数据 告诉 我 们 “是 什么 ” 
而 不 是 “为 什么 ”， 让 数据 自己 “发 声 ”。 在 当今 这 个 变革 加 快 的 时 代 ， 企 业 运营 过 程 
中 知道 “是 什么 ”在 大 多 数 情况 下 就 足够 了 ， 至 于 “为 什么 ”可 根据 需要 再 进行 研究 。 
例如 ， 沃 尔 玛 公司 通 过 对 海量 的 销售 数据 分 析 发 现 了 飓风 来 临 前 蛋 扶 的 销量 会 增加 ， 于 
是 就 把 蛋 捧 放 在 了 靠近 飓风 用 品 的 位 置 ， 销 量 果然 增加 ， 但 沃尔玛 公司 并 没有 探究 那 是 
“为 什么 ”。 


1.4 大 数据 驱动 管理 变革 


让 我 们 把 大 数据 和 第 三 次 工业 革命 一 起 置 于 更 加 宏大 的 历史 背景 之 中 ， 充 分 拓展 我 
们 的 视野 ， 回 顾 两 百 多 年 以 来 的 企业 管理 发 展 历程 ， 纵 览 人 类 工业 化 进程 中 的 重大 历史 时 
刻 ， 来 审视 大 数据 时 代 电 力 企 业 所 面临 的 挑战 。 

第 一 次 工业 革命 突破 了 农业 经 济 束缚 ， 但 受制 于 交通 、 通 信 、 市 场 等 诸多 因素 ， 没 
有 出 现 大 型 工业 企业 ， 企 业 的 所 有 权 和 经 营 权 没有 分 离 ， 工 厂 的 出 现 适 应 并 推动 了 生产 力 
的 发 展 ， 是 当时 最 重要 的 管理 创新 。 第 二 次 工业 革命 科技 创新 和 市 场 发 展 都 取得 了 重大 突 
破 ， 交 通 、 通 信 、 市 场 得 到 了 巨大 发 展 ， 极 大 地 解放 了 生产 力 ， 生 产 关 系 的 重大 调整 催生 
了 大 型 工业 企业 的 出 现 ， 企 业 所 有 权 与 经 营 权 的 分 离 以 及 职业 经 理 人 的 出 现 等 重要 变化 都 
是 重大 的 管理 创新 ， 管 理学 理论 也 取得 重大 进展 ， 出 现 了 科学 管理 、 组 织 管理 、 人 本 管理 
等 理论 ， 管 理学 进入 从 林 时 代 ， 现 代 企业 管理 制度 得 以 确立 。 第 二 次 工业 革命 以 来 发 生 的 
重大 管理 创新 表明 ， 管 理 必须 进行 颠覆 性 的 大 创新 来 适应 科技 创新 的 大 突破 ， 这 是 “生产 
关系 必须 适应 生产 力 发 展 ”理论 在 企业 管理 实践 中 的 生动 体现 。 

自 20 世 纪 以 来 ， 以 泰勒 科学 管理 原理 和 韦伯 行政 组 织 管理 理论 为 基础 发 展 起 来 的 “以 
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效率 为 中 心 、 科 层 为 导向 ”的 管理 范式 越 来 越 难以 适应 第 三 次 工业 革命 和 大 数据 时 代 企业 
的 发 展 需求 。 管 理学 家 哈 默 认为 “ 源 自 工业 时 代 的 管理 模式 已 然 步 入 S 形 曲线 的 尾 端 ， 已 
经 再 也 没有 发 展 的 余地 了 ”， 他 认为 企业 应 该 转换 管理 理念 ， 运 用 大 思维 、 解 决 大 问题 ， 
在 各 层面 进行 创新 。 

大 数据 引发 了 大 量 的 技术 创新 和 商业 创新 ， 必 然 要 求 企业 从 战略 、 组 织 和 文化 各 层面 
进行 突破 性 的 管理 变革 来 适应 这 一 发 展 趋势 ， 大 数据 将 成 为 企业 管理 创新 的 重要 驱动 力 ， 
新 的 管理 范式 也 必然 会 随 着 第 三 次 工业 革命 和 大 数据 的 深化 而 逐渐 确立 。 比 如 ， 苹 果 公 司 
和 谷歌 公司 实现 规模 效益 不 是 依靠 传统 的 固定 资产 规模 ， 而 是 凭借 他 们 在 各 自 领域 所 掌握 
的 巨大 数据 资产 得 以 实现 的 ， 它 们 的 战略 、 组 织 结构 也 都 是 基于 数据 竞争 来 制定 的 。 

在 大 数据 时 代 ， 企 业 之 间 的 竞争 将 不 仅仅 是 劳动 生产 率 和 成 本 的 竞争 ， 更 是 数据 和 
知识 的 竞争 ， 数 据 既是 信息 的 载体 又 是 知识 的 源泉 ， 它 是 企业 创造 价值 和 利润 的 重要 动力 
源 。 数 据 将 成 为 企业 最 重要 的 资产 和 竞争 的 核心 ， 这 一 重要 趋势 将 推动 企业 在 产品 、 服 务 
以 及 组 织 架 构 等 方面 实现 重大 的 管理 创新 。 


1.5 ”电网 大 数据 的 现状 与 未 来 


随 着 智能 电网 建设 的 持续 推进 ，ICT〈 信 息 通信 技术 ) 在 电力 系统 的 广泛 应 用 不 仅 提 
升 了 电力 系统 的 智能 化 水 平 ， 还 推动 了 电力 大 数据 呈 几 何 级 数 增长 ， 各 类 数据 的 覆盖 范围 
不 断 扩大 ， 获 取 频 度 不 断 提高 ， 数 据 的 综合 价值 也 得 到 极 大 提升 ， 数 据 再 利用 使 得 数据 的 
价值 潜力 得 到 巨大 释放 ， 电 力 大 数据 已 经 站 在 了 量变 到 质变 的 关键 节点 上 。 以 用 电 领 域 为 
例 ， 传 统 上 电表 每 月 抄 表 一 次 ， 电 量 信息 仅 用 于 电费 收取 ， 数 据 的 附加 值 相 当 有 限 。 目 
前 ， 美 国 智能 电表 对 用 户 的 实时 电量 采集 频率 已 精确 到 6s 一 次 ， 对 用 户 负荷 特征 的 分 析 已 
能 够 发 气 到 用 户 日 常用 电 的 习惯 ， 甚 至 非法 行为 等 家 庭 用 电信 息 。Opower 公 司 运用 这 些 
数据 给 用 户 提供 能 效 解决 方案 ， 这 一 增值 服务 已 经 创造 了 数 千 万 美元 的 经 济 回报 ， 减 少 了 
数 百 万 吨 的 温室 气体 排放 。 

随 着 第 三 次 工业 革命 浪潮 来 效 ， 互 联网 、 物 联网 与 电网 将 深度 融合 ， 未 来 的 智能 电力 
系统 将 使 得 电网 不 仅 承载 着 电力 流 ， 还 承载 着 信息 流 和 业务 流 。 实 现 了 “三 流 合 一 ”的 智 
能 电力 系统 的 价值 也 将 随 融 合 而 跃升 ， 这 种 跃升 显然 具有 大 数据 的 时 代 特 征 。 当 电网 中 传 
输 的 不 只 是 电能 ， 还 有 超 乎 想象 的 持续 增长 的 数据 时 ， 探 索 如 何 科学 合理 地 释放 数据 能 量 
来 推动 电力 工业 的 升级 便 成 为 电力 企业 所 面临 的 重大 命题 。 电 力 大 数据 的 价值 已 经 相当 庞 
大 ， 但 如 果实 现 进一步 延伸 ， 将 电力 大 数据 与 人 们 生产 生活 数据 ， 与 政府 企业 等 多 行业 数 
据 相 结合 ， 将 产生 更 多 更 大 的 价值 增值 潜力 ， 电 力 大 数据 所 带 来 的 经 济 回 报 也 将 远 超 我 们 
的 想象 。 


再 其 于 大 数据 的 智 菇 电网 技术 


未 来 的 中 国电 网 必 将 是 一 张 巨 大 的 数字 化 电网 和 具有 世界 领先 水 平 的 电力 物 联网 ， 未 
来 的 电力 企业 也 必 将 转型 为 擅长 大 数据 运营 的 新 型 电力 企业 。 国 网 四 川 省 电力 公司 在 这 一 
领域 进行 了 积极 的 研究 与 探索 ， 确 定 将 电力 营销 作为 大 数据 推进 的 突破 口 是 符 合 大 数据 
发 展 普遍 规律 的 。 选 取 的 试点 县 供电 公司 一 一 国 网 成 都 天 府 供电 公司 是 新 成 立 的 县 级 供 
电 企业 ， 具 有 极 强 的 发 展 潜力 和 可 塑性 ， 非 常 适合 作为 大 数据 试点 单位 。 坚 持 电 网 数字 
化 、 运 营 数 据 化 方向 ， 把 天 府 供电 公司 建设 成 为 “数字 化 电网 、 数 据 化 运营 ”的 具有 世 
界 先 进 水 平 的 新 型 供电 企业 ， 其 试点 经 验 将 为 国 网 四 川 电力 基于 大 数据 的 全 面 转型 提供 
有 益 借鉴 。 


1.6 ”把 握 大 数据 时 代 


进入 新 世纪 以 来 ， 随 着 “两 化 融合 ”工作 的 推进 ， 电 力 大 数据 进入 了 新 的 时 代 ， 一 
方面 是 电力 系统 的 智能 化 、 数 字 化 水 平 获得 突飞猛进 ， 沿 着 电力 系统 的 价值 链 ， 发 、 输 、 
配 、 售 、 用 及 调度 交易 全 过 程 所 生产 的 数据 堪 称 海量 ; 另 一 方面 是 电力 企业 普遍 都 开展 了 
信息 化 建设 ， 企 业 的 信息 化 水 平 获得 显著 提高 ， 数 据 的 生产 和 存储 能 力 大 幅 提升 ， 电 力 企 
业内 部 已 经 拥有 了 海量 生产 运营 数据 ， 信 息 化 的 价值 提升 悄然 而 至 。 电 力 企业 要 实现 大 数 
据 转型 必须 从 大 数据 战略 、 组 织 、 技 术 、 管 理 及 行业 联盟 等 关键 要 素 方面 推动 公司 发 展 方 
式 转变 。 

从 战略 视角 来 看 ， 要 大 力 推动 数据 资产 化 进程 ， 充 分 挖掘 数据 的 价值 创造 潜力 。 数 
据 分 析 是 实现 大 数据 价值 的 核心 ， 要 使 其 成 为 企业 获取 价值 、 赢 得 竞争 的 决定 性 抓 手 ， 关 
键 在 于 推动 大 数据 对 企业 实现 客户 洞察 和 流程 革新 的 指导 。 从 电力 企业 的 普遍 现状 来 看 ， 
比较 务实 的 做 法 : 一 是 加 快 大 数据 业务 试点 ， 推 动 大 数据 在 规划 、 运 维 、 客 服 、 采 购 、 投 
资 等 重要 传统 业务 的 应 用 ， 把 大 数据 分 析 紧 密 嵌 入 到 企业 的 核心 业务 流程 之 中 去 ， 提 升 业 
务 的 绩效 水 平 ， 二 是 运用 大 数据 提升 电力 系统 的 智能 化 水 平 ， 提 高 新 能 源 并 网 的 能 力 ， 促 
进 风 能 、 太 阳 能 等 新 能 源 有 序 发 展 ， 服 务 国家 节能 减 排 总 体 战略 ， 三 是 充分 发 挥 数 据 资源 
的 商业 价值 ， 以 大 数据 为 基础 培育 数据 生态 链 ， 创 新 商业 模式 ， 形 成 更 加 有 机 协调 的 业务 
体系 ， 促 进 公司 发 展 方式 的 深刻 转变 ， 有 力 推动 数据 资源 转化 为 战略 资产 的 大 数据 战略 转 
型 ; 四 是 随 着 时 代 变革 加 速 ， 企 业 面 临 的 环境 更 加 复杂 ， 智 能 决策 和 科学 决策 的 需求 增 
长 ， 大 数据 在 这 一 领域 将 有 着 广阔 的 发 展 空间 。 

从 企业 组 织 视角 来 看 ， 要 基于 大 数据 所 带 来 的 重大 变革 重组 企业 组 织 架构 。 大 数据 领 
先 企 业已 经 把 他 们 的 商业 活动 的 每 一 环节 都 建立 在 数据 收集 、 分 析 和 行动 的 能 力 之 上 ， 他 
们 的 组 织 是 基于 数据 竞争 来 架构 的 。 这 些 企业 要 么 在 数据 运用 最 多 最 频繁 的 业务 领域 成 立 
了 数据 分 析 部 门 ， 要 么 成 立 了 独立 的 数据 分 析 部 门 ， 把 数据 分 析 作 为 关键 职能 嵌入 企业 运 


第 1 章 大 数据 概述 


营 全 过 程 之 中 。 首 席 数据 官 这 一 新 兴 职 位 的 设立 是 企业 推进 大 数据 战略 的 重要 举措 ， 随 着 
大 数据 的 演进 ， 首 席 数 据 官 对 企业 运行 的 重要 性 将 与 首席 财务 官 一 样 重要 。 电 力 企业 必须 
基于 行业 特征 、 自 身 实际 ， 积 极 研究 和 借鉴 大 数据 领先 企业 的 成 功 实践 ， 变 革 企 业 组 织 架 
构 ， 创 新 企业 运行 体制 机 制 ， 探 索 设立 首席 数据 官 ， 适 应 大 数据 时 代 的 要 求 。 

从 技术 视角 来 看 ， 要 加 快 建设 适应 大 数据 发 展 的 “电力 云 ”， 为 大 数据 发 展 提供 强 
大 的 技术 基础 。 首 先 ， 应 从 生产 、 管 理 、 服 务 三 大 视角 探索 建设 符合 电力 企业 发 展 客观 规 
律 、 具 有 电力 企业 特色 的 “电力 云 ”， 满 足 电力 企业 海量 数据 的 存储 与 计算 需要 。 其 次 ， 
转变 企业 信息 化 建设 的 发 展 思路 ， 以 建设 企业 级 信息 项 目 为 主体 ， 实 现 企业 信息 化 集中 建 
设 和 统一 推广 应 用 ， 构 建 分 散在 各 业务 条 线 的 数据 大 融合 通道 ， 提 升 企业 数据 资源 集中 管 
理 能 力 和 共享 水 平 ， 为 数据 资源 的 价值 创造 提供 基础 条 件 。 再 次 ， 基 于 先进 算法 探索 建立 
投资 、 电 量 、 气 候 、 负 荷 等 各 类 分 析 模 型 ， 提 高 电力 企业 智能 化 决策 水 平 ， 提 升 公司 管 
理 、 发 展 和 服务 水 平 。 

从 数据 管理 视角 来 看 ， 要 加 强大 数据 人 才 培 养 ， 提 升 大 数据 风险 管理 能 力 。 大 数据 战 
略 的 推进 必须 要 首先 解决 大 数据 人 才 问 题 ， 人 才 是 企业 实现 数据 资源 向 数据 的 资产 转变 的 
关键 。 要 着 力 培养 一 批 数据 管理 人 才 、 数 据 分 析 人 才 和 电力 数据 科学 家 ， 数 据 分 析 与 挖掘 
人 才 将 成 为 未 来 的 稀缺 人 才 ， 电 力 企业 要 做 好 大 数据 人 才 的 培养 和 储备 工作 。 另 一 方面 ， 
要 强化 数据 的 共享 和 风险 管理 ， 数 据 公开 和 流动 是 大 数据 时 代 的 重要 趋势 ， 电 力 大 数据 与 
人 们 生产 生活 数据 ， 与 政府 企业 等 多 行业 数据 相 结合 ， 将 产生 更 多 更 大 的 价值 增值 潜力 ， 
但 是 ， 在 共享 数据 价值 的 同时 必须 强化 数据 的 风险 管理 。 

从 行业 视角 来 看 ， 要 推动 成 立 大 数据 行业 联盟 ， 建 立行 业 数 据 治理 和 共享 机 制 。 数 
据 与 其 他 生产 要 素 相 比 无 疑 有 着 独 有 的 特征 。 与 工业 原材料 一 般 都 有 排他 性 而 无 法 共享 不 
同 ， 数 据 从 技术 上 很 容易 实现 共享 ， 而 且 数据 共享 的 范围 越 大 ， 使 用 的 人 越 多 ， 创 造价 值 
的 潜力 就 越 大 ， 并 且 ， 与 机 器 设备 不 一 样 ， 数 据 使 用 的 过 程 不 是 价值 折 损 的 过 程 ， 而 是 价 
值 增值 的 过 程 。 电 力 大 数据 的 价值 取决 于 数据 的 更 大 范围 的 开放 与 共享 ， 不 同 电力 企业 之 
间 若 能 建立 数据 流动 与 共享 机 制 ， 电 力 大 数据 的 价值 将 更 加 巨大 ， 打 破 业务 、 企 业 、 行 业 
之 间 的 数据 壁垒 将 成 为 电力 大 数据 迈进 新 时 代 的 重要 前 提 。 建 设 电力 行业 统一 的 元 数据 和 
主 数据 管理 平台 ， 建 立 统一 的 电力 数据 分 析 模型 和 行业 级 电力 数据 中 心 ， 开 发 电力 数据 分 
析 挖 掘 技术 ， 挖 气 电 力 大 数据 价值 ， 面 向 行业 内 外 提供 内 容 增值 服务 将 成 为 电力 大 数据 未 
来 的 发 展 方向 。 

从 大 数据 发 展演 进 的 历程 来 看 ， 目 前 我 国电 力 企业 普遍 还 处 于 概念 引入 和 认 知 探索 阶 
段 ， 真 正 的 大 数据 实践 还 很 少 。 以 国家 电网 公司 为 例 ， 随 着 公司 统一 部 署 建设 的 SG186、 
ERP 等 企业 级 信息 系统 深入 应 用 以 及 三 级 运营 监测 〈 控 ) 中 心 的 建成 ， 国 家 电网 公司 数据 
量 呈 几何 级 数 增长 ， 积 累 了 大 量 的 生产 、 和 运营、 管理 数据 ， 数 据 的 集中 管理 水 平 得 到 了 极 
大 提高 。 同 时 我 们 还 应 看 到 ， 企 业 的 数据 资源 总 体 来 看 还 是 分 布 在 各 业务 条 线 ， 数 据 集中 
管理 与 共享 水 平 还 有 待 进一步 加 强 ， 各 业务 条 线 和 行业 企业 的 数据 大 融合 已 成 为 电力 企业 


3 其 于 大 数据 的 智 菇 电网 技术 


推进 大 数据 战略 面临 的 瓶颈 ， 数 据 的 分 析 和 商业 价值 开发 也 还 处 于 起 步 阶段 ， 与 世界 领先 
的 大 数据 企业 相 比 还 有 很 大 差距 ， 对 数据 资源 的 认识 还 有 待 提升 。 


1.7 ”拥抱 电力 大 数据 


随 着 智能 时 代 的 到 来 ， 普 适 计算 的 层 层 深 入 ， 世 界 正 在 进入 一 个 “万 物 皆 联网 、 无 处 
不 计算 ”的 轩 新 时 代 ， 时 空 障碍 正在 被 打破 ， 现 实 世界 的 数据 化 正在 加 速 ， 企 业 的 竞争 也 
从 基于 成 本 和 效率 的 竞争 向 基于 数据 和 知识 的 竞争 演进 ， 而 大 数据 正 是 在 这 样 的 时 代 背 景 
下 应 运 而 生 的 。 在 大 数据 时 代 ， 每 一 天 都 有 无 数 的 数据 被 收集 、 整 理 、 交 换 、 分 析 和 价值 
挖 据 ， 数 据 已 经 如 一 股 “ 洪 流 ” 注 入 世界 经 济 ， 成 为 全 球 各 经 济 领 域 的 重要 组 成 部 分 。 据 
著名 咨询 公司 麦肯锡 预计 ， 数 据 作为 一 种 全 新 的 资产 类 别 将 与 企业 的 固定 资产 和 人 力 资源 
一 样 ， 成 为 生产 过 程 中 的 基本 要 素 。 

大 数据 带 来 了 技术 、 商 业 和 管理 3 个 方面 的 重大 变革 ， 它 正在 快速 渗透 到 更 多 的 行 
业 ， 没 有 企业 能 置身 事 外 、 独 善 己 身 。 业 界 普 遍 认为 2013 年 是 大 数据 元 年 ， 大 数据 时 代 已 
经 开启 ， 在 这 一 重要 的 变革 时 代 ， 传 统 的 电力 企业 该 何去何从 ? 

电力 关乎 国计民生 ， 电 力 数 据 不 仅 反映 宏观 经 济 运行 情况 ， 也 反映 居民 消费 结构 、 生 
活水 平 、 用 电 行 为 模式 等 重要 信息 ， 电 力 大 数据 具有 极 强 的 正 外 部 性 。 电 力 企 业 处 于 数据 
汇集 的 黄金 位 置 ， 且 在 过 去 的 经 营 过 程 中 已 经 累积 了 大 量 的 高 质量 数据 ， 只 要 把 握 这 一 巨 
大 的 数据 优势 ， 充 分 发 挥 企业 的 资源 优势 ， 电 力 企业 就 具备 成 功 转型 为 大 数据 生态 系统 领 
袖 企 业 的 优势 。 

然而 ， 电 力 企业 的 发 展 有 着 悠久 的 历史 沿革 和 强大 的 发 展 惯性 ， 要 成 功 转 型 谈 何 容 
易 。 回 顾 每 一 次 大 变革 时 代 企业 的 命运 都 能 发 现 ， 许 多 企业 在 变革 浪潮 中 都 销声匿迹 了 ， 
但 总 有 一 部 分 优秀 企业 能 够 成 功 转型 而 持续 经 营 ， 实 现 基业 长 青 。 是 什么 力量 导致 这 一 现 
象 反复 出 现 呢 ? 美国 管理 学 大 师 钱 德勤 在 对 美 、 英 、 德 等 三 国 的 大 型 工业 企业 19 世 纪 60 年 
代 一 20 世 纪 60 年 代 近 一 百年 发 展 历程 进行 研究 后 发 现 ， 经 历 多 个 经 济 周期 实现 持续 繁荣 的 
企业 都 具有 极 强 的 组 织 能 力 ， 这 些 企业 不 仅 充分 运用 了 规模 经 济 和 范围 经 济 效益 ， 还 通过 
对 生产 、 营 销 和 管理 进行 大 量 投资 来 获取 软 硬 件 协调 发 展 的 强大 组 织 能 力 ， 一 旦 这 些 具 有 
强大 组 织 能 力 的 领先 企业 取得 先行 者 地 位 后 ， 都 能 长 期 保持 它们 建立 的 优势 。 比 如 ， 德 国 
的 大 型 工业 企业 在 第 二 次 世界 大 战 中 普遍 遭受 了 毁灭 性 打击 ， 这 些 企 业 拥 有 的 遍布 全 世界 
的 庞大 资产 在 战 后 绝 大 部 分 都 被 资产 所 在 国 没 收 了 ， 国 内 也 是 一 片 废墟 ， 但 凭借 企业 优秀 
的 核心 团队 和 强大 的 组 织 能 力 ， 它 们 无 一 例外 地 很 快 崛起 了 。 第 二 次 世界 大 战 后 用 了 不 到 
十 年 时 间 ， 德 国企 业 便 再 次 获得 了 领袖 企业 地 位 ， 如 西门 子 、 巴 斯 夫 、 拜 耳 等 企业 至 今 仍 
然 是 世界 范围 的 行业 旋 楚 。 这 一 颠 扑 不 破 的 企业 管理 规律 的 发 现 为 电力 企业 成 功 转型 ， 继 
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而 进入 大 数据 时 代 提 供 了 重要 的 路 径 参考 。 
展望 未 来 ， 数 据 掌控 和 数据 分 析 将 成 为 企业 竞争 的 常态 ， 数 据 必 将 成 为 企业 最 重要 的 
财富 和 金 矿 ， 数 据 分 析 和 价值 挖掘 的 能 力 将 成 为 企业 的 核心 竞争 力 ， 世 界 将 进入 一 个 “ 数 
兴 则 企业 兴 、 数 据 强 则 企业 强 ” 的 竞争 时 代 。 电 力 企 业 要 紧 紧 把 握 大 数据 时 代 的 发 展 脉 
搏 ， 充 分 发 挥 大 胆 的 企业 家 创新 精神 ， 在 这 个 数据 大 爆发 、 商 业 传 奇 层 出 不 穷 的 大 变革 时 
代 ， 紧 紧 围绕 大 数据 技术 、 商 业 和 管理 这 三 大 关键 要 素 进行 重大 的 三 重 投资 ， 建 立 基于 大 
数据 的 领先 的 组 织 能 力 ， 主 动 求 变 ， 尽 早 引导 企业 进入 大 数据 时 代 。 


第 2 音 
电网 的 大 数据 时 代 


基于 大 数据 的 智慧 电网 技术 


随 着 智能 电网 的 建设 和 发 展 ， 电 力行 业已 步 入 大 数据 时 代 。 目 前 电力 大 数据 处 于 起 步 
阶段 ， 需 产业 公司 、 科 研 组 织 、 设 备 供应 商 和 政府 机 构 的 共同 合作 来 建设 和 发 展 ， 而 大 数 
据 的 发 展 定 会 给 电力 行业 带 来 巨大 价值 。 


2.1 ”新 一 轮 的 电网 发 展 战略 


大 数据 不 是 ICT 行 业 的 专利 。 目 前 ， 金 融 、 广 电 等 传统 行业 都 在 积极 借助 大 数据 的 力 
量 ， 帮 助 企 业 实 现 转型 。 在 电力 行业 ， 大 数据 已 经 被 视 作 企业 战略 层面 的 重要 议题 : 国家 
电网 公司 就 在 北京 、 上 海 、 陕 西 建立 了 3 个 大 数据 中 心 ， 其 中 北京 亦庄 大 数据 中 心 已 安装 
超过 10200 个 传感器 ， 每 个 月 可 节约 的 能 耗 价值 大 约 为 30 万 元 。 那 么 ， 电 力行 业 如 何 应 用 
大 数据 ? 

大 数据 在 公共 管理 、 零 售 、 互 联网 、 电 信 、 金 融 等 众多 行业 快速 推广 ， 市 场 规模 迅速 
扩大 ，2012 年 国内 大 数据 市 场 规模 已 达 4.5 亿 元 。 互 联网 数据 中 心 (Internet Data Center， 
IDC) 数据 显示 ，2017 年 中 国 大 数据 市 场 规模 达 27 亿 美元 ， 而 全 球 规 模 达 501 亿 美元 。 大 
数据 已 经 渗透 到 当今 的 每 个 行业 ， 成 为 重要 的 生产 因素 。 人 们 对 于 海量 数据 的 挖掘 和 运 
用 ， 预 示 着 新 一 波 生 产 率 增 长 和 消费 者 盈余 浪潮 的 到 来 。 大 数据 超过 了 传统 数据 库 系 统 的 
处 理 能 力 ， 为 了 获得 数据 中 的 价值 ， 必 须 选 择 新 的 方式 进行 处 理 。 

电力 行业 对 大 数据 的 使 用 分 为 内 部 应 用 和 外 部 应 用 ， 下 面 分 别 介绍 。 


2.1.1 对 内 优化 管理 模式 


内 部 应 用 指 运 用 大 数据 优化 电力 企业 管理 模式 ， 提 升 电力 企业 经 营 管理 水 平 ， 主 要 包 
括 以 下 几 个 方面 。 


1. 支持 基建 决策 
大 数据 技术 有 助 于 电力 企业 基础 设施 选 址 、 建 设 的 决策 。 例 如 丹麦 风电 公司 Vestas 计 
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划 将 全 球 天 气 系统 数据 与 公司 发 电机 数据 结合 ， 利 用 气温 、 气 压 、 空 气 湿度 、 空 气 沉淀 
物 、 风 向 、 风 速 等 数据 以 及 公司 历史 数据 ， 通 过 使 用 超级 计算 机 及 大 数据 模型 解决 方案 ， 
来 支持 其 风力 发 电机 的 选 址 ， 以 充分 利用 风速 、 风 力 、 气 流 等 因素 达到 最 大 发 电量 ， 并 减 
少 能 源 成 本 。 此 外 ，Vestas 还 将 添加 全 球 森林 砍伐 追踪 图 ， 卫 星 图 像 、 地 理 数据 以 及 月 相 
与 潮汐 数据 ， 以 便 更 好 地 支持 基础 建设 的 决策 。 


2. 升级 客户 分 析 


一 方面 ， 通 过 使 用 电力 企业 庞大 的 历史 销量 数据 进行 用 户 用 电 行 为 分 析 和 用 户 市 场 
细 分 ， 使 管理 者 能 针对 性 地 优化 营销 组 织 ， 改 善 服 务 模式 ， 另 一 方面 ， 通 过 与 外 界 数据 
的 交换 ， 挖 据 用 户 用 电 与 电价 、 天 气 、 交 通 等 因素 所 隐藏 的 关联 关系 ,完善 用 户 用 电 需 
求 预测 模型 ， 进 而 为 各 级 决策 者 提供 多 维 、 直 观 、 全 面 、 深 入 的 预测 数据 ， 主 动 把 握 市 场 
动态 。 


3. 提高 智能 控制 


大 数据 技术 将 加 速 电力 企业 智能 化 控制 的 步伐 ， 促 进 智能 电网 的 发 展 。 例 如 ， 通 过 为 
电力 基础 设施 布置 传感器 ， 动 态 监控 设施 运行 状况 ， 并 基于 大 数据 分 析 挖掘 理念 和 可 视 化 
展现 技术 手段 ， 采 用 集成 了 在 线 检测 、 视 频 监 控 、 应 急 指 挥 、 检 修 查询 等 功能 的 “智能 在 
线 监 控 与 可 视 化 调度 管理 系统 ”， 有 效 改 变 运 维 方式 ， 从 萌芽 阶段 消除 部 分 运 维 故障 ， 实 
现 运 维 智能 化 。 


4. 加 强 协同 管理 


整合 电力 行业 生产 、 和 运营、 销售、 管理 的 数据 ， 实 现 电 力 发 电 、 输 电 、 变 电 、 配 电 、 
用 电 、 调 度 全 环节 数据 共享 ， 以 用 电 需 求 预测 为 驱动 优化 资源 配置 ， 协 调 电力 生产 、 运 
维 、 销 售 的 管理 ， 提 升 生产 效 率 和 资源 利用 率 。 此 外 ， 电 力 企业 各 部 门 数据 的 集成 将 优化 
内 部 信息 沟通 ， 使 财务 、 人 事 等 工作 的 开展 更 顺畅 ， 有 助 于 企业 实行 精细 化 运营 管理 ， 提 
高 集团 管控 水 平 。 


2.1.2 ”对 外 丰富 增值 业务 


外 部 应 用 指 利用 电力 行业 大 数据 可 获得 的 社会 效益 ， 主 要 包括 以 下 几 个 方面 。 


1. 丰 富 的 增值 服务 


利用 电力 行业 数据 可 给 用 户 提供 更 加 丰富 的 增值 服务 。 例 如 ， 通 过 给 用 户 提供 其 各 
月 份 分 时 明细 用 电视 图 ， 可 让 用 户 了 解 自身 用 电 习 惯 并 能 根据 需要 进行 调整 ， 同 时 也 使 
得 电力 收费 过 程 更 透明 。 随 着 无 线 M2M 传 感 器 和 大 数据 分 析 的 普及 ， 智 能 恒温 控制 器 等 


基于 大 数据 的 智慧 电网 技术 


新 型 工具 进入 大 型 楼 房 和 消费 者 家 庭 成 为 可 能 ， 未 来 这 些 技术 将 给 用 户 带 来 很 大 的 节能 
空间 。 


2. 提供 经 济 指导 


作为 重要 经 济 先行 数据 ， 用 电 数 据 是 一 个 地 区 经 济 运行 的 “风向 标 ”， 可 作为 投资 决 
策 者 的 参考 依据 。 美 国 加 州 大 学 洛杉矶 分 校 的 研究 者 根据 大 数据 理论 ， 将 人 口 调查 信息 、 
电力 企业 提供 的 用 户 实时 用 电信 息 和 地 理 、 气 象 等 信息 全 部 整合 ， 设 计 了 一 款 “ 电 力 地 
图 ”。 该 图 以 街区 为 单位 ， 可 以 反映 各 时 刻 的 用 电量 ， 并 可 将 用 电量 与 人 的 平均 收入 、 建 
筑 类 型 等 信息 进行 比照 。 通 过 完善 “电力 地 图 ”， 能 更 准确 地 反应 该 区 经 济 状况 及 各 群体 
的 行为 习惯 ， 以 辅助 投资 者 的 决策 ， 也 可 为 城市 和 电网 规划 提供 基础 依据 。 


2.1.3 ”确保 数据 质量 


大 数据 时 代为 电力 行业 带 来 了 新 的 发 展 机 遇 ， 同 时 也 提出 了 新 的 挑战 。 通 过 良好 的 
大 数据 管理 ， 可 切实 提高 电力 生产 、 营 销 及 电网 运 维 等 方面 的 管理 水 平 。 为 实践 大 数据 战 
略 ， 应 做 好 以 下 准备 工作 : 

(1) 做 好 数据 收集 和 治理 工作 。 如 果 数 据 错误 、 过 时 或 者 片面 ， 则 分 析 结 果 将 是 不 
正确 的 ， 而 如 果 数 据 宛 余 、 混 乱 ， 则 会 增加 获取 数据 有 效 信息 的 难度 ， 并 使 数据 处 理 效率 
低下 。 因 此 ， 确 保 数 据 高 质量 、 规 范 化 、 格 式 统一 是 大 数据 应 用 的 基础 。 

(2) 提高 相关 技术 能 力 。 有 了 优质 的 数据 后 还 需要 足够 的 数据 存储 、 分 析 和 处 理 能 
力 ， 才 能 充分 有 效 地 应 用 数据 。 电 力 企业 应 提升 海量 数据 存储 、 分 布 式 计算 、 数 据 挖掘、 
统计 分 析 、 数 据 可 视 化 等 技术 ， 以 满足 大 数据 战略 的 需求 。 

(3) 培养 电力 大 数据 人 才 。 大 力 培养 大 数据 技术 专业 型 人 才 ， 尤 其 是 技术 与 数据 建 
模 分 析 的 复合 型 人 才 ， 是 大 数据 战略 实行 的 保障 。 


2.1.4 挑战 中 见 需求 


质量 较 低 、 共 享 不 畅 、 防 御 脆弱 、 基 础 不 牢 ， 这 些 是 推进 电力 行业 大 数据 的 困扰 ， 同 
时 也 是 推进 电力 行业 信息 化 的 机 遇 。 


1. 数据 质量 较 低 ， 数 据 管控 能 力 不 强 


在 大 数据 时 代 ， 数 据 质量 的 高 低 、 数 据 管控 能 力 的 强 弱 直接 影响 数据 分 析 的 准确 性 和 
实时 性 。 目 前 ， 电 力行 业 数据 在 可 获取 的 颗粒 程度 ， 数 据 获取 的 及 时 性 、 完 整 性 、 一 致 性 
等 方面 的 表现 均 不 尽 如 人 意 ， 数 据 源 的 唯一 性 、 及 时 性 和 准确 性 急需 提升 ， 部 分 数据 尚 需 
手工 输入 ， 采 集 效 率 和 准确 度 还 有 所 欠缺 ， 行 业 中 企业 缺乏 完整 的 数据 管控 策略 、 组 织 以 
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及 管控 流程 。 

如 何 从 海量 数据 中 提取 有 价值 的 信息 ? 有 观点 认为 ， 可 以 用 智能 信息 基础 设施 替换 
复杂 孤立 的 数据 库 ， 让 企业 能 够 在 需要 时 捕捉 、 存 储 信息 。 也 有 观点 认为 ， 可 以 依靠 软件 
的 处 理 能 力 来 甄别 “垃圾 ”数据 和 “有 价值 ”数据 。 究 竟 哪 种 方式 更 为 有 效 ， 目 前 仍 无 定 
论 。 而 无 论 哪 种 情况 ， 都 需要 制定 一 个 数据 采集 的 标准 ， 在 时 间 、 精 度 上 进行 规范 ， 从 而 
为 后 续 的 数据 分 析 打 好 基础 。 


2. 数据 共享 不 畅 ， 数 据 集成 度 不 高 


大 数据 技术 的 本 质 是 从 关联 复杂 的 数据 中 挖掘 知识 ， 提 升 数据 价值 ， 单 一 业务 、 类 型 
的 数据 即使 体 量 再 大 ， 缺 乏 共享 集成 ， 其 价值 也 会 大 打折 扣 。 目 前 ， 电 力行 业 缺 乏 行业 层 
面 的 数据 模型 定义 与 主 数据 管理 ， 各 单位 数据 口径 不 一 致 。 行 业 中 存在 较为 严重 的 数据 壁 
人 又， 业务 链条 间 也 尚未 实现 充分 的 数据 共享 ， 数 据 重复 存储 的 现象 较为 突出 。 

打破 企业 的 “门户 之 见 ”， 在 行业 中 建立 一 个 资源 池 ， 让 使 用 者 可 以 按 需 获取 数据 资 
源 ， 共 享 数 据 资源 的 经 验 也 可 在 大 数据 的 应 用 过 程 中 加 以 推广 。 


3. 防御 能 力 不 足 ， 信 息 安全 面临 挑战 


电力 大 数据 由 于 涉及 众多 电力 用 户 的 隐私 ， 对 信息 安全 也 提出 了 更 高 的 要 求 。 电 力 企 
业 地 域 覆 盖 范 围 极 广 ， 各 类 防护 体系 建设 不 平衡 ， 信 息 安全 水 平 不 一 致 ， 特 别 是 偏远 地 区 
单位 防护 体系 尚未 全 面 建立 ， 安 全 性 有 待 提高 。 行 业 中 企业 的 安全 防护 手段 和 关键 防护 措 
施 也 需 进 一 步 加 强 ， 从 目前 的 被 动 防御 向 多 层次 、 主 动 防御 转变 。 

建立 与 大 数据 相 适应 的 安全 和 隐私 保护 机 制 ， 通 过 技术 手段 和 加 强 企业 自律 来 保证 数 
据 的 安全 。 


4. 承载 能 力 不 足 ， 基 础 设施 吸 待 完善 


电力 数据 对 储存 时 间 的 要 求 和 海量 电力 数据 的 爆发 式 增长 对 IT 基础 设施 提出 了 更 高 的 
要 求 。 目前， 电力 企业 大 多 已 建成 一 体 化 企业 级 信息 集成 平台 ， 能 够 满足 日 常 业务 的 处 理 
要 求 ， 但 其 信息 网 络 传输 能 力 、 数 据 处 理 能 力 、 数 据 交换 能 力 、 数 据 展现 能 力 以 及 数据 互 
动能 力 都 无 法 满足 电力 大 数据 的 要 求 ， 尚 需 进一步 加 强 。 

相关 人 才 短 缺 ， 专 业 人 员 供应 不 足 也 影响 电力 大 数据 的 发 展 。 大 数据 研发 应 用 是 一 项 
革新 的 事业 ， 电 力 大 数据 的 发 展 需要 新 型 的 专业 技术 人 员 ， 例 如 大 数据 处 理 系统 管理 员 、 
大 数据 处 理 平台 开发 人 员 、 数 据 分 析 员 和 数据 科学 家 等 。 而 当前 行业 内 外 此 类 技术 人 员 缺 
乏 ， 这 将 会 成 为 影响 电力 大 数据 发 展 的 一 个 重要 因素 。 

加 强大 数据 人 才 的 培养 ， 鼓 励 企业 内 部 在 大 数据 领域 的 创新 ， 同 时 借助 制造 业 的 专业 
人 才 也 是 一 个 不 错 的 办 法 。 
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2.1.5 ”策略 中 得 启示 


从 中 国电 机 工程 学 会 信息 化 专 委 会 发 布 的 《中 国电 力 大 数据 发 展 白皮书 〈2013 年 ) 》 
可 以 看 出 ， 电 力行 业 的 大 数据 时 代 已 经 来 临 。 

作为 覆盖 城市 和 乡村 、 具 备 同步 传输 能 源 与 信息 的 最 大 人 造 网 络 ， 智 能 电力 系统 天 然 
成 为 未 来 智慧 城市 建设 的 基础 与 核心 。 它 以 电力 光纤 到 户 和 电力 通信 网 为 依托 ， 进 一 步 拓 
展 电 力 大 数据 实践 ， 构 建 家 庭 用 电 自 动 化 和 能 效 管 理 、 小 区 的 一 体 化 信息 平台 、 智 慧 城市 
的 能 效 管理 平台 和 智慧 城市 一 体 化 信息 服务 平台 ， 将 智慧 从 电网 带 到 小 区 再 带 到 城市 ， 最 
终 实 现 电 力 发 展 方式 和 城市 发 展 方式 的 共同 转变 。 

重 塑 电力 核心 价值 和 转变 电力 发 展 方式 是 电力 大 数据 的 两 条 核心 主线 。 电 力 大 数据 通 
过 对 市 场 个 性 化 需求 和 企业 自身 良性 发 展 的 挖掘 ， 驱 动 电力 企业 从 “以 电力 生产 为 中 心 ” 
向 “以 客户 为 中 心 ”转变 。 电 力 大 数据 通过 对 电力 系统 生产 运行 方式 的 优化 、 对 间歇 式 可 
再 生 能 源 的 消 纳 以 及 对 全 社会 节能 减 排 观念 的 引导 ， 能 够 推动 中 国电 力 工业 由 高 耗 能 、 高 
排放 、 低 效率 的 粗放 发 展 方式 向 低 耗 能 、 低 排放 、 高 效率 的 绿色 发 展 方式 转变 。 此 外 ， 电 
力 大 数据 的 有 效应 用 可 以 面向 行业 内 外 提供 大 量 的 高 附加 值 的 内 容 增 值 服务 。 

结合 电力 业务 性 质 以 及 发 展 需求 ， 从 数据 规模 、 增 长 情况 、 多 样 化 程度 以 及 数据 分 析 
的 需求 等 方面 出 发 ， 设 定 长 期 的 电力 大 数据 应 用 策略 ， 积 极 开展 前 期 研究 ， 全 方位 论证 电 
力 大 数据 的 发 展 方向 和 道路 ， 制 定 中 长 期 电力 大 数据 发 展 规划 ， 设 立 切 合 实际 的 目标 和 优 
先 级 、 明 确 的 预算 与 期 限 。 

在 规划 的 基础 上 ， 面 向 电力 生产 、 用 户 用 电 、 企 业 运 营 等 数据 量 大 的 领域 ， 结 合 实际 
情况 ， 找 准 最 易 实 施 、 最 易 出 效果 、 需 求 最 迫切 的 环节 ， 引 导 行 业 厂 商 参与 ， 关 注 电 力 工 
业 共性 需求 和 特点 ， 快 速 开展 电力 大 数据 实践 应 用 ， 从 简单 分 析 到 深入 分 析 ， 再 到 实现 智 
能 挖掘 ， 循 序 渐进 ， 逐 步 深 入 。 


2.2 ”大 数据 时 代 的 变革 


随 着 信息 获取 技术 、 物 联网 、 物 理 信息 系统 、 社 交 网 络 等 技术 的 迅猛 发 展 ， 全 球 的 数 
字 信 息 资源 正 进入 一 个 前 所 未 有 的 快速 增长 期 。 据 统计 ， 在 过 去 的 两 年 中 人 类 产生 的 数据 
已 经 达到 历史 产生 的 全 部 数据 的 90%， 如 果 到 2020 年 ， 预 计 全 世界 多 产生 的 数据 规模 将 达 
到 今天 的 44 倍 。 大 数据 时 代 已 经 来 临 ， 它 标志 着 信息 技术 的 发 展 由 计算 转向 了 数据 。 而 作 
为 全 球 第 二 大 经 济 体 的 基础 能 源 支 撑 体系 的 电力 工业 ， 也 必然 步 入 电力 大 数据 时 代 。 

随 着 坚强 智能 电网 建设 的 全 面 开展 、 物 联网 的 应 用 ， 使 得 电力 行业 的 数据 量 迅 速 增 
长 ， 已 经 由 TB 级 向 PB 级 转变 ; 数据 来 源 更 加 多 样 化 ， 数 据 结构 也 更 加 多 样 化 。 使 用 现在 
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急需 通过 数据 管理 及 数据 挖掘 等 手段 进行 的 电力 大 数据 研究 ， 以 实现 电力 生产 、 营 销 及 运 
维 等 方面 生产 管理 水 平 提高 为 目的 ， 可 为 电力 企业 提供 强大 的 信息 技术 支撑 。 下 面 主要 从 
电力 大 数据 分 析 的 角度 谈 谈 大 数据 对 电力 企业 的 影响 。 


2.2.1 大 数据 与 电力 大 数据 


在 IT 领域 ， 大 数据 是 继 高 性 能 计算 机 、 互 联网 、 网 格 计算 、 云 计算 之 后 的 又 一 个 被 大 
众 所 关 注 的 技术 术语 。 

可 以 说 智能 电网 就 是 “大 数据 ”在 电力 行业 中 的 一 种 应 用 。 随 着 电力 工业 与 信息 化 
的 深度 融合 ， 智 能 电网 将 承载 着 电力 流 、 信 息 流 和 业务 流 ， 电 网 和 电力 信息 通信 网 的 用 户 
将 发 生 县 加， 电网 的 整体 价值 会 跃升 。 这 种 价值 的 跃升 将 使 电力 企业 具有 大 数据 的 时 代 特 
征 ， 即 电力 大 数据 。 

电力 大 数据 在 具有 大 数据 的 4V 特 征 的 同时 ， 还 具有 Value 特征 ， 其 具体 表现 如 下 。 

@ 体 量 大 (Volume) : 随 着 电力 企业 信息 化 快速 建设 和 智能 电力 系统 全 面 建成 ， 
电力 企业 在 运行 过 程 中 产生 了 庞大 的 业务 数据 ， 积 累 了 总 量 超过 5PB 的 业务 
数据 。 

@ 类 型 多 (Variety) : 电力 大 数据 的 数据 类 型 可 以 分 为 结构 化 数据 、 半 结构 化 数据 
和 非 结构 化 数据 3 种 。 

@ 速度 快 (Velocity) : 主要 指 对 电力 数据 采集 、 处 理 、 分 析 的 速度 。 电 力 系统 中 业 
务 对 处 理 时 限 的 要 求 较 高 。 

@ 真实 性 (Veracity) : 随 着 大 数据 的 爆炸 性 增长 ， 产 生 数据 的 技术 手段 和 方式 越 来 
越 多 ， 劣 质数 据 也 随 之 产生 。 

@ 价值 密度 低 〈Value) : 数据 体 量 大 并 不 代表 数据 中 所 带 有 的 信息 量 和 数据 价值 高 。 


2.2.2 ”电力 大 数据 面临 的 挑战 和 应 用 前 景 


电力 企业 数据 有 实时 采集 的 数据 ， 还 有 新 能 源 并 网 、 物 联网 、 云 计算 、 电 动 汽车 充 换 
电 等 新 的 业务 数据 ， 以 及 ERP、 营 销 、 一 体 化 平台 和 协同 办 公 等 方面 的 数据 。 目 前 ， 电 
力 大 数据 应 用 主要 是 通过 挖 据 上述 电力 生产 、 使 用 数据 之 间 的 规律 ， 利 用 大 数据 强大 的 分 
析 与 预测 能 力 ， 提 取出 更 多 的 高 附加 值 服务 。 例 如 将 客户 用 电 行 为 分 析 与 客户 细 分 可 促进 
电力 资源 的 优化 配置 和 高 效 服务 ， 预 测 业务 走向 可 优化 业务 流程 和 提供 对 电力 调度 决策 的 
支持 ;提高 智能 变电站 的 建设 水 平 可 优化 机 器 和 设备 性 能 ， 使 设备 应 用 上 更 智能 化 和 自主 
化 ; 提升 电力 企业 精细 化 运营 管理 可 改善 安全 和 执法 。 

电力 大 数据 应 用 前 景 广阔， 但 也 面临 着 巨大 的 挑战 ， 主 要 包括 以 下 5 个 方面 。 

(1) 数据 质量 方面 : 数据 体 量 大 并 不 代表 数据 中 所 带 有 的 信息 量 和 数据 价值 高 。 电 
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力 大 数据 的 数据 来 源 涉及 发 、 输 、 变 、 配 、 用 电 和 调度 的 各 环节 ， 数 据 量 大 且 杂 ， 准 确 性 
和 完整 性 不 高 将 会 影响 电力 大 数据 的 应 用 。 

(2) 数据 集成 方面 : 在 进行 电力 数据 集成 的 过 程 中 ， 电 力 企 业内 部 系统 众多 ， 电 力 
数据 被 分 别 存储 于 很 多 不 同 的 数据 库 内 ， 形 成 信息 孤岛 ， 有 部 分 数据 由 于 系统 业务 功能 重 
复 ， 在 多 个 系统 中 进行 了 重复 录入 ; 多 种 测量 、 采 集 方式 记录 的 同一 组 数据 可 能 存在 偏 
差 ; 数据 具有 广泛 的 异 构 性 ， 从 原来 的 以 结构 化 为 主 的 数据 类 型 转变 为 结构 化 、 半 结构 
化 、 非 结构 化 三 者 结合 的 数据 类 型 。 

(3) 数据 分 析 方面 : 传统 的 数据 分 析 方法 主要 用 来 处 理 结构 化 的 数据 ， 随 着 大 数据 
时 代 的 到 来 ， 研 究 半 结 构 化 、 非 结 构 化 数据 的 处 理 、 分 析 与 提取 技术 变 得 十 分 迫切 ;那些 
力求 通过 复杂 算法 从 有 限 的 数据 集中 获取 信息 的 传统 方法 已 经 不 能 适应 大 数据 分 析 。 在 大 
数据 分 析 模 式 下 ， 更 注重 数据 处 理 的 实时 性 ， 通 过 高 效 的 算法 对 全 体 数 据 进行 实时 分 析 。 

(4) 数据 可 视 化 方面 : 电力 大 数据 的 数据 量 大 、 数 据 结构 复杂 使 其 在 数据 可 视 化 方 
面 面 临 着 新 的 挑战 。 有 效 的 可 视界 面 使 人 们 能 够 更 容易 研究 、 浏 览 、 观 察 、 操 纵 、 探 索 、 
发 现 、 过 滤 、 理 解 大 规模 数据 ， 同 时 也 有 助 于 发 现 隐藏 在 信息 内 部 的 特征 和 规律 ， 并 更 便 
于 与 之 进行 交互 。 

(5) 数据 存储 方面 : 提高 数据 的 查询 、 统 计 、 更 新 效率 是 结构 化 数据 存储 的 关键 
点 ; 对 于 图 片 、 视 频 等 非 结 构 化 数据 会 出 现存 储 、 检 索 困 难 ， 对 于 半 结 构 化 数据 ， 数 据 的 
转化 存储 ， 或 者 按照 非 结 构 化 数据 进行 存储 ， 都 存在 较 大 难度 。 

通过 分 析 可 以 看 出 ， 大 数据 时 代 的 到 来 ， 给 信息 化 程度 很 高 的 电力 行业 带 来 了 机 遇 ， 
也 带 来 了 挑战 。 大 数据 在 电力 行业 得 到 越 多 应 用 ， 其 能 够 带 来 的 价值 也 就 越 高 。 应 把 传统 
的 电力 企业 信息 管理 工作 思路 转变 为 以 数据 为 中 心 的 信息 化 理念 ， 从 而 促进 电力 工业 与 信息 
化 的 深度 融合 ， 实 现 全 新 的 工作 方式 和 商业 模式 ， 并 能 在 智能 电网 建设 中 发 挥 更 大 的 作用 。 


2.3 ”从 大 数据 看 电网 改革 


可 以 预见 ， 我 们 正 拥抱 一 个 新 的 能 源 时 代 ， 这 个 时 代 的 核心 就 是 数据 。 大 数据 意味 
着 机 遇 、 产 业 、 红 利 ， 它 已 经 成 为 驱动 经 济 发 展 的 重要 生产 资料 ， 将 引发 新 一 轮 的 生产 
力 革 命 。 

身 处 大 数据 时 代 ， 企 业 的 决策 将 越 来 越 多 地 基于 数据 分 析 而 非 业务 判断 。 如 何 利用 信 
息 技术 从 海量 信息 中 获取 并 利用 最 有 价值 的 信息 ， 成 为 电力 企业 “业务 驱动 ”向 “数据 驱 
动 ” 转 变 的 关键 。 

十 八 届 五 中 全 会 提出 实施 国家 大 数据 战略 ， 这 对 研究 和 应 用 大 数据 提出 了 新 的 要 求 。 
作为 重要 的 战略 资源 ， 大 数据 将 广泛 渗透 并 深入 应 用 于 各 领域 ， 成 为 促进 企业 生产 方式 、 
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运行 方式 和 管理 方式 创新 变革 的 重要 驱动 力 。 

从 微观 上 来 看 ， 过 去 传统 产业 的 数据 系统 主要 服务 于 企业 内 部 ， 而 现在 ， 全 新 的 发 展 
环境 、 市 场 环境 、 生 存 环境 等 ， 无 不 提醒 着 企业 在 “互联 网 +” 的 背景 下 ， 企 业 的 运营 不 
能 仅 满足 于 内 部 ， 而 且 要 放眼 整个 生态 圈 。 这 势必 对 企业 传统 的 信息 系统 提出 新 的 挑战 。 
尽管 大 数据 概念 是 由 互联 网 公司 提出 ， 起 初 的 应 用 也 多 局 限于 互联 网 行业 ， 但 随 着 大 数据 
应 用 逐渐 深入 各 个 行业 各 个 领域 ， 特 别 是 大 数据 所 具有 的 4V 特 点 ， 其 产生 的 巨大 变革 之 
力 已 经 让 各 行 各 业 意 识 到 它 的 重要 性 。 对 电力 企业 而 言 ， 运 用 大 数据 技术 ， 有 助 于 企业 运 
营 向 集约 化 转变 ， 提 升 运营 管理 效率 。 

国家 电网 公司 的 “三 集 五 大 ”体系 建设 ， 不 仅 构建 了 纵向 贯通 、 横 向 集成 的 一 体 化 信 
息 平台 ， 产 生 了 大 量 多 样 化 的 数据 ， 如 生产 管理 和 营销 系统 都 已 达到 PB 级 数据 规模 ， 更 
需要 通过 开展 大 数据 关键 技术 的 研究 、 验 证 和 示范 应 用 ， 促 进 公司 构 建新 型 电网 企业 运营 
体系 ， 增 强 价值 创造 力 和 核心 竞争 力 。 

国家 电网 公司 目前 的 数据 库 多 采用 集中 式 服务 器 构建 ， 扩 展 性 不 强 ， 尤 其 是 非 结构 
化 数据 面临 扩展 性 差 和 成 本 高 的 问题 ， 因 此 ， 需 要 研究 利用 分 布 式 存储 、 关 系数 据 库 集群 
等 方式 ， 实 现 数据 存储 横向 扩展 ， 以 支持 大 批量 数据 的 集中 存储 与 加 工 处 理 ， 满 足 数据 不 
断 增长 的 要 求 。 同 时 ， 电 网 生产 运行 和 企业 经 营 管理 中 业务 数据 类 型 繁多 ， 包 括 结构 化 数 
据 、 网 络 日 志 、 音 频 、 视 频 、 图 片 、 地 理 位 置信 息 等 ， 多 类 型 、 海 量 的 数据 向 处 理 能 力 提 
出 了 更 高 的 要 求 ， 而 通过 大 数据 技术 可 以 对 这 些 问 题 进行 完美 解决 ， 为 公司 节约 成 本 ， 提 
高 运行 效率 ， 创 造 更 大 的 经 济 和 社会 效益 。 

电力 企业 的 大 数据 工作 包括 了 数据 采集 、 数 据 传输 、 数 据 存储 处 理 和 数据 分 析 4 个 主 
要 环节 的 工作 。2014 年 7 一 12 月 ， 国 家 电网 公司 组 织 中 国电 科 院 、 南 瑞 集团 等 科研 院 所 和 
信 通 产业 单位 完成 大 数据 平台 总 体 设 计 ， 编 制 形成 了 《国家 电网 公司 大 数据 应 用 指导 意 
见 》， 同 时 ， 确 定 了 营销 、 运 检 、 检 修 等 7 大 领域 的 设备 状态 监测 、 负 荷 预测 、 配 网 故障 
抢修 精益 化 管理 等 17 个 方向 35 项 的 大 数据 应 用 试点 研究 工作 。2015 年 1 月 ， 国 家 电网 公司 
正式 启动 了 企业 级 大 数据 平台 的 研发 和 试点 建设 工作 。 

在 电网 运行 领域 ， 以 推动 智能 电网 创新 发 展 为 出 发 点 ， 积 极 推进 大 数据 技术 在 智能 电 
网 发 、 输 、 变 、 配 、 调 、 用 6 大 环节 的 广泛 应 用 ; 在 经 营 管理 领域 ， 以 促进 电力 企业 经 营 
管理 模式 创新 发 展 为 出 发 点 ， 积 极 推进 大 数据 技术 在 电网 规划 、 配 网 运行 、 运 营 监 测 和 人 
财物 集约 化 管理 等 方面 的 广泛 应 用 ; 在 优质 服务 领域 ， 以 促进 优质 服务 能 力 提升 和 新 型 业 
务 形态 发 展 为 出 发 点 ， 积 极 推进 大 数据 技术 在 智能 电表 增值 服务 、 电 动 汽车 运营 管理 和 和 需 
求 侧 管理 等 方面 的 广泛 应 用 。 

2015 年 4 月 ， 国 网 江苏 电力 运用 大 数据 负荷 预测 方法 ， 对 江苏 全 省 负荷 峰值 进行 预 
测 。 国 网 江苏 电力 利用 大 数据 分 析 ， 预 测 了 2015 年 江苏 省 最 高 电力 负荷 为 8440 万 kW， 预 
计 发 生 时 间 在 8 月 6 日 。 实 际 情况 是 ，8 月 5 日 江苏 电网 最 高 负荷 达到 8480 万 kW， 与 预测 相 
比 ， 时 间 仅 相差 一 天 ， 负 荷 仅 相差 40 万 kW， 足 以 证 明 大 数据 应 用 的 巨大 威力 。 
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国 网 福建 电力 从 管理 和 技术 两 方面 入 手 ， 全 面 掌握 低 电 压 现 状 和 成 因 ， 借 助 大 数据 ， 
深入 分 析 95598 低 电压 投诉 、 运 维 监测 数据 ， 结 合用 电信 息 采 集 系统 监测 及 现场 调研 ， 全 
方位 排查 低 电 压 台 区 ， 准 确 掌握 全 省 低 电压 台 区 分 布 特点 、 负 荷 特性 及 时 间 规 律 等 低 电 压 
网 络 现状 。 

国 网 福建 电力 根据 利用 实测 比 对 结果 ， 建 立 电压 损耗 计算 模型 ， 形 成 台 区 压 降 成 因 分 
析 图 、 台 区 电压 分 布 图 等 ， 精 确 直观 地 展现 了 台 区 电压 薄弱 环节 。2015 年 8 月 ， 国 网 福建 
电力 开展 城 网 配 变 重 过 载 预 警 分 析 场 景 应 用 ， 识 别 出 52 台 新 增 重 载 配 变 、13 台 新 增 过 载 配 
变 ， 预 警 准确 率 达 80%。 

国家 电网 公司 大 数据 试点 验证 工作 能 取得 阶段 性 的 成 果 ， 证 明了 电力 企业 大 数据 建 
设 从 体系 研究 、 平 台 建 设 、 试 点 应 用 等 一 系列 工作 的 科学 性 和 可 行 性 ， 充 分 反映 了 大 数据 
技术 符合 电力 企业 发 展 要 求 和 发 展 规律 ， 为 推进 信息 通信 新 技术 推动 智能 电网 和 “一 强 三 
优 ” 现 代 公司 创新 发 展 行动 计划 葛 定 了 坚实 基础 。 


2.4 ”电网 行业 的 变革 点 


大 数据 作为 重要 的 生产 要 素 ， 是 能 源 电力 行业 发 展 转型 的 重要 支撑 ， 一 方面 大 数据 能 
促进 能 源 电力 行业 管理 变革 ， 提 高 能 源 资源 配置 效率 ， 比 如 能 耗 〈 电 力 ) 在 线 监控 系统 的 
建设 对 于 节能 减 排 具 有 重要 贡献 ， 另 一 方面 是 可 以 提高 国民 经 济 的 监控 能 力 ， 将 能 源 电力 
系统 的 运行 作为 反映 国民 经 济 运 行 安全 与 效率 的 晴雨 表 。 

电网 的 业务 数据 大 致 分 为 3 类 : 一 是 像 发 电量 、 电 压 稳定 性 等 方面 的 电力 企业 生产 数 
据 ; 二 是 像 交易 电价 、 售 电量 等 方面 的 电力 企业 运营 数据 ; 三 是 如 一 体 化 平台 、 协 同 办 公 
等 电力 企业 管理 数据 。 业 界 认 为 ， 如 果 能 充分 利用 这 些 基 于 电网 实际 情况 的 数据 ， 对 其 进 
行 深入 分 析 ， 便 可 以 由 此 提供 大 量 的 高 附加 值 服 务 。 

中 国电 力 企业 联合 会 通过 研究 建立 电力 行业 信用 信息 应 用 大 数据 中 心 ， 采 集 电力 企业 
信息 〈 含 售 电 企业 ) ， 同 时 进行 动态 管理 ， 从 不 同 维度 采集 数据 ， 从 不 同方 面 加 强 数据 交 
换 和 共享 ， 实 现 了 政府 、 行 业 、 企 业 协 作 ， 电 力 企业 信用 信息 及 时 公示 ， 并 将 其 逐步 纳入 
全 国 统一 信用 大 数据 中 心 ， 形 成 覆盖 全 行业 及 其 上 下 游 信用 链 的 征 信 系 统 ， 建 立 守信 激励 
和 失信 乱 戒 机 制 ， 进 一 步 提 高 电力 行业 诚信 意识 和 信用 水 平 ， 通 过 建设 与 全 国 统一 的 征 信 
系统 对 接 的 电力 行业 信用 管理 与 服务 平台 ， 为 行业 和 社会 监督 、 信 用 评价 与 信用 采信 提供 
便捷 的 途径 。 

无 疑 ， 大 数据 为 能 源 电力 的 发 展 带 来 了 新 机 遇 ， 但 是 要 想 顺利 搭 上 “大 数据 ”这 班 列 
车 ， 业 界 至 少 还 需要 跨 过 几 道 门槛 。 

目前 社会 各 界 获取 电力 相关 信息 的 方式 主要 有 国家 发 展 改革 委 、 国 家 统计 局 、 国 家 能 
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源 局 等 部 委 网 站 、 门 户 网 站 、 主 流 纸 媒 、 各 类 论坛 会 议 以 及 相关 咨询 研究 机 构 等 ， 尚 缺乏 
一 个 全 面 、 权 威 的 支撑 科学 决策 的 电力 行业 大 数据 中 心 。 

从 电力 企业 知识 管理 的 角度 来 讲 ， 以 往 以 文献 信息 为 主 的 知识 主要 来 源 于 数据 库 资 
源 、 互 联网 情报 资源 以 及 企业 内 部 档案 资源 ， 但 这 些 知 识 从 数据 量 的 角度 来 讲 ， 尚 达 不 到 
大 数据 PB 量 级 。 但 这 并 不 意味 着 电力 企业 无 法 开展 大 数据 知识 管理 。 

据 科 学 家 估算 ， 人 类 大 脑 容 量 预计 为 1.25TB， 这 意味 着 ,一 个 拥有 800 名 员工 的 企 
业 ， 其 隐 性 知识 存 有 量 就 能 达到 1PB (1024TB) ， 即 “大 数据 ” 量 级 。 另 外 ， 从 数据 挖掘 
与 揭示 的 角度 来 讲 ， 大 数据 在 电力 行业 信息 服务 领域 的 应 用 还 包括 挖 抉 文献 背后 的 概念 语 
义 关 系 。 据 闵 艳 丽 介绍 ， 以 往 查询 “智能 电网 ”， 通 过 网 络 一 站 式 检索 ， 能 够 找到 大 量 与 
之 相关 的 学 术 文 献 ， 更 深 一 步 的 信息 服务 仅仅 是 按 作 者 、 机 构 、 基 金 、 来 源 、 时 间 等 对 文 
献 进行 排序 。 如 果 运 用 大 数据 可 视 化 技术 ， 我 们 可 以 从 更 多 维度 来 深度 揭示 文献 背后 的 隐 
性 关系 ， 比 如 通过 发 文 量 统计 与 揭示 ， 找 到 最 近 3 年 “智能 电网 ”的 总 体 研究 趋势 ， 再 比 
如 通过 关键 词 在 上 述 文献 中 的 出 现 次 数 ， 可 分 析出 近 3 年 的 研究 热点 。 

能 源 电力 作为 企业 重要 的 成 本 支出 项 ， 是 企业 管理 的 重要 内 容 。 由 于 大 数据 的 基础 投 
入 较 大 ， 在 大 中 型 工业 企业 的 应 用 较 好 ， 中 小 企业 的 应 用 方面 相对 薄弱 。 比 如 建筑 用 能 方 
面 ， 大 型 公共 建筑 应 用 较 多 ， 一 般 公 共 建 筑 和 居民 建筑 应 用 较 少 ， 主 要 原因 是 单个 大 数据 
平台 的 基础 建设 成 本 较 高 ， 可 以 通过 建立 大 数据 公共 服务 平台 的 方式 降低 成 本 ， 提 高 服务 
水 平 。 交 通用 能 方面 ， 大 量 货 运 企业 都 是 “小 、 散 、 乱 ”的 组 织 形态 ， 大 数据 应 用 和 节能 
减 排 方面 的 能 力 不 足 ， 是 电力 企业 开展 大 数据 转型 重点 关注 的 方向 。 

能 源 电力 行业 应 如 何 与 大 数据 更 好 地 结合 发 展 ? 一 是 要 强化 能 源 电力 行业 内 部 的 大 数 
据 资 源 建设 ， 培 育 专业 的 大 数据 服务 商 ， 发 挥 能 源 电力 行业 在 “互联 网 +” 和 大 数据 应 
用 的 先行 引领 作用 ;二 是 要 加 强 能 源 电力 行业 大 数据 资源 与 国民 经 济 其 他 行业 大 数据 资 
源 的 交换 共享 ， 打 造 能 源 经 济 运行 大 数据 监控 平台 ， 为 各 级 政府 、 行 业 部 门 、 企 业 和 公众 
等 服务 。 
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3.1 电网 大 数据 定义 


在 时 下 的 流行 语 中 ， 很 难 找 出 一 个 比 “ 大 数据 ”更 吸引 眼球 的 术语 了 。1980 年 ， 阿 
尔 文 。 托 夫 勒 在 《第 三 次 浪潮 》 中 预言 了 信息 时 代 的 到 来 会 带 来 数据 爆发 ， 约 翰 。 梅 西 在 
1998 年 的 美国 高 等 计算 机 系统 协会 大 会 上 首次 提出 “大 数据 (Big Data) ”一 词 。 什 么 是 
大 数据 ? 这 一 概念 目前 尚未 形成 统一 的 定义 。 几 种 代表 性 的 观点 如 下 : 麦肯锡 公司 认为 
“大 数据 是 指 无 法 在 一 定时 间 内 用 传统 数据 库 软 件 工具 对 其 内 容 进 行 抓 取 、 管 理 和 处 理 的 
数据 集合 ”; 维基 百科 认为 “大 数据 是 指 无 法 在 一 定时 间 内 用 常规 软件 工具 对 其 内 容 进行 
抓 取 、 管 理 和 处 理 的 数据 集 ”; 全 球 最 具 权 威 的 IT 研究 与 顾问 咨询 公司 一 高 德 纳 公司 认 
为 “大 数据 是 需要 新 处 理 模式 才能 具有 更 强 的 决策 力 、 洞 察 发 现 力 和 流程 优化 能 力 的 海 
量 、 高 增长 率 和 多 样 化 的 信息 资产 ”。 

大 数据 时 代 已 经 来 临 ， 它 将 在 众多 领域 掀起 变革 的 巨 浪 ， 这 是 毋庸 置疑 的 事实 。 在 以 
云 计算 为 代表 的 技术 创新 大 幕 的 衬托 下 ， 这 些 原本 很 难 收集 和 使 用 的 数据 开始 容易 被 利用 
起 来 了 ， 通 过 各 行 各 业 的 不 断 创新 ， 大 数据 会 逐步 为 人 类 创造 更 多 的 价值 ， 而 对 于 电网 企 
业 来 说 ， 大 数据 的 应 用 同样 会 促进 企业 的 跨越 发 展 。 

大 数据 的 本 质 是 事物 的 时 域 、 空 域 记 录 ， 并 非 事物 的 描述 数据 。 其 实 人 类 文明 就 是 
大 数据 的 记录 与 应 用 积累 ， 当 今 社会 进入 了 信息 时 代 ， 信 息 化 的 本 质 是 用 IT 技术 和 方法 描 
述 世 界 ， 描 述 事物 的 内 在 本 质 、 过 程 规律 和 业务 规则 。 信 息 化 的 应 用 过 程 就 是 在 描述 好 事 
物 的 软件 系统 中 实现 人 工 和 /或 机 器 记录 。 大 数据 成 为 热门 是 因为 信息 化 、 互 联网 、 终 端 
的 普及 和 应 用 让 我 们 进入 了 一 个 机 器 自动 记录 的 时 代 ， 爆 炸 性 增长 的 记录 数据 使 传统 的 人 
工 、 单 机 / 单 节 点 的 机 器 处 理 能 力 无 法 完成 记录 的 分 析 、 挖 掘 ， 由 此 催生 了 云 计算 和 大 数 
据 概念 并 推动 人 工 智能 的 工程 应 用 。 机 器 学 习 等 人 工 智能 技术 就 是 机 器 处 理 大 数据 及 大 数 
据 应 用 的 高 级 模式 。 

大 数据 应 用 的 本 质 是 推导 规律 、 预 知 未 来 ， 并 非 简单 的 统计 分 析 。 在 信息 化 时 代 以 
前 ， 人 类 就 有 典型 的 大 数据 应 用 ， 如 视觉 美学 总 结 的 黄金 分 割 0.618) ， 社 会 学 中 的 在 
特定 时 空 范围 内 存在 的 “二 八 ” 理 论 。 在 信息 化 时 代 ， 大 数据 极 大 地 依赖 信息 化 及 其 应 
用 ， 开 展 大 数据 分 析 也 必须 应 用 信息 化 方法 与 手段 ， 要 符合 信息 化 业务 驱动 、 目 标 导向 
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等 原则 。 没 有 目标 的 大 数据 平台 建设 或 挂 大 数据 “ 羊 头 ” 是 不 利于 信息 化 建设 和 大 数据 
应 用 的 。 

互联 网 大 数据 与 电力 企业 大 数据 是 有 区 别 的 。 互 联网 本 质 是 跨 区 域 的 信息 化 网 络 基 
础 设施 ， 其 大 量 的 内 容 服务 和 居于 互联 网 社交 软件 并 不 存在 描述 事物 的 过 程 ， 即 没有 对 
象 模型 。 人 们 应 用 互联 网 留 下 了 应 用 记录 (大 量 的 非 结构 化 数据 ) ， 分 析 这 些 大 数据 记 
录 的 前 提 是 重新 构建 记录 的 对 象 ， 对 记录 标识 特征 。 企 业 信息 化 一 般 经 过 业务 标准 化 和 
业务 流程 梳理 过 程 ， 所 以 企业 的 大 数据 存在 对 象 描述 ， 但 企业 应 用 的 困难 是 建设 的 系统 
在 对 象 描述 上 不 统一 、 对 象 上 的 记录 不 完整 。 所 以 互联 网 大 数据 与 企业 大 数据 应 用 尽管 
原理 与 方法 一 致 ， 但 分 析 工 作 的 重点 是 有 区 别 的。 互联 网 公司 在 开展 大 数据 分 析 的 工 
具 、 技 术 方法 不 完全 适用 于 企业 ， 更 不 能 把 互联 网 大 数据 的 平台 建设 当 作 企业 大 数据 应 
用 工作 的 全 部 。 

区 别 好 对 象 模型 数据 与 记录 数据 是 大 数据 分 析 的 基础 。 尽 管 描述 事物 对 象 的 数据 也 
可 以 达到 PB 级 ， 如 人 类 的 基因 图 谱 、 地 球 大 气 层 流动 模型 、 电 网 的 网 络 结构 模型 等 ， 但 
这 些 数据 不 是 大 数据 ， 而 在 这 些 对 象 模型 上 构建 软件 并 记录 的 业务 变化 是 大 数据 。 所 以 
在 大 数据 应 用 方面 存在 两 类 数据 的 预 处 理 ， 一 类 是 模型 数据 预 处 理 ， 另 一 类 是 记录 数据 
预 处 理 。 模 型 层面 的 预 处 理 本 质 是 信息 化 建设 方案 的 科学 性 、 合 理性 。 记 录 的 完整 性 很 
大 程度 上 取决 于 信息 化 方案 ， 同 时 也 取决 于 信息 系统 的 应 用 过 程 。 一 旦 软件 上 线 ， 再 进 
行 数据 治理 来 解决 模型 之 间 的 不 一 致 性 或 对 记录 的 二 次 “模型 化 ”加 工 是 一 种 方法 论 上 
的 误导 。 正 确 的 方法 应 该 是 依据 企业 架构 和 行业 解决 方案 完善 信息 化 架构 ， 实 现 企业 信 
息 化 架构 规范 和 引导 下 的 信息 系统 建设 和 应 用 ， 在 企业 层面 统筹 企业 模型 、 统 筹 系统 结 
构 和 功能 界面 、 统 一 业务 系统 应 用 规范 。 企 业 的 数据 治理 必须 在 建设 方案 中 完成 ， 系 统 
建成 系统 后 的 数据 治理 是 无 效 的 。 当 然 ， 在 系统 运行 过 程 中 数据 库 的 技术 数据 治理 是 必 
须 的 。 

大 数据 应 用 在 电网 领域 大 有 可 为 。 在 电网 企业 中 ， 电 量 数据 是 一 组 典型 的 大 数据 ， 
客户 和 客户 的 电表 台 账 是 电量 数据 的 宿主 对 象 。 在 采集 系统 中 对 客户 和 电表 台 账 进行 建 模 
后 ， 各 用 户 电表 的 时 序 记录 就 是 电量 大 数据 。 

下 面 结合 国 网 江苏 电力 开展 的 负荷 预测 大 数据 应 用 简 述 大 数据 应 用 方法 。 

首先 是 数据 预 处 理 。 对 象 模型 的 预 处 理 ， 依 托 营 配 调 一 体 化 ， 建 立 客户 和 电表 台 账 与 
电网 供电 逻辑 关系 ， 构 建 电网 各 电压 层级 直至 各 台 区 到 用 户 的 关联 模型 ， 记 录 数 据 的 预 处 
理 ， 对 电量 记录 电 度 值 进行 年 度 节假日 除权 还 原 ， 去 除 电量 的 节假日 因素 ， 去 除 记录 奇 点 
和 内 插 补 全 个 别 记录 缺点 等 工作 。 

其 次 是 分 行业 回归 建立 日 电量 与 气温 、 湿 度 等 因素 用 电 模 型 ， 依 据 实时 运行 方式 累计 
各 台 区 日 电量 、 日 负荷 ， 完 成 各 区 域 、 各 电压 等 级 的 电量 和 负荷 预测 模型 的 构建 ， 并 构建 
模型 机 器 学 习 ， 保 持 模型 的 时 效 性 。 

最 后 ， 由 大 数据 平台 给 预测 模型 导入 实时 气温 与 前 一 时 段 的 电量 和 负荷 ， 实 现 短期 、 
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超 短 期 的 全 网 负荷 预测 。 同 样 原理 ， 也 可 关联 宏观 GDP 与 电量 指数 ， 结 合 业 扩 包装 量变 
化 ， 实 现 中 长 期 负荷 预测 。 

2015 年 ， 江 苏 电 网 以 全 样本 的 用 户 每 日 实时 采集 用 电 数据 ， 结 合十 多 年 用 电 、 业 扩 、 
气象 等 历史 数据 ， 建 立 起 涵盖 全 省 各 地 区 、 分 行业 以 及 25 万 专 变 用 户 和 40 万 台 公用 变压器 
的 包括 温度 、 湿 度 、 节 假日 、 周 末 等 要 素 的 多 维度 用 电影 响 模型 ， 模 型 包含 的 数据 关联 关 
系 超 过 110 亿 项 ， 开 展 负荷 中 长 期 、 短 期 、 超 短期 预测 工作 ， 有 效 指 导 了 生产 工作 。 

此 外 ， 电 量 大 数据 的 应 用 在 行业 内 外 还 有 大 量 的 可 应 用 价值 ， 如 从 用 电 设 备 节能 潜 
力 分 析 全 社会 节能 潜力 、 大 用 户 用 电 特 征 分 析 行业 产能 利用 情况 、 居 民用 户 家 庭 活动 特征 
等 。 大 数据 应 用 在 电网 领域 大 有 可 为 。 


3.2 ”电网 大 数据 特征 


随 着 互联 网 、 物 联网 、 云 计算 等 技术 的 快速 发 展 ， 以 及 智能 终端 、 网 络 社会 、 数 字 
地 球 等 信息 体 的 普及 和 建设 ， 全 球 数 据 量 出 现 爆炸 式 增长 ， 仅 在 2011 年 就 达到 了 1.8 万 亿 
GB。IDC 预 计 ， 到 2020 年 全 球 数据 量 将 增加 50 倍 。 毋 庸 置疑 ， 大 数据 时 代 已 经 到 来 ， 一 方 
面 ， 云 计算 为 这 些 海量 的 、 多 样 化 的 数据 提供 了 存储 和 运算 平台 ， 另 一 方面 ， 数 据 挖掘 和 
人 工 智 能 从 大 数据 中 发 现 知识 、 规 律 和 趋势 ， 也 能 为 决策 提供 信息 参考 。 

大 数据 通常 被 认为 是 一 种 数据 量 很 大 、 数 据 形式 多 样 的 非 结 构 化 数据 。 随 着 对 大 数 
据 研 究 的 进一步 深入 ， 大 数据 不 仅 指数 据 本 身 的 规模 ， 也 包括 数据 采集 工具 、 数 据 存储 平 
台 、 数 据 分 析 系 统 和 数据 衍生 价值 等 要 素 。 


3.2.1 数据 量 大 


在 大 数据 时 代 ， 各 种 传感器 、 移 动 设备 、 智 能 终端 和 网 络 社会 等 无 时 无 刻 不 在 产生 
数据 ， 数 量 级别 已 经 突破 TB， 发 展 至 PB 乃至 ZB， 统 计数 据 量 呈 千 倍 级 别 上 升 。 据 统计 ， 
2012 年 全 球 产 生 的 数据 量 达到 了 2.7ZB，2015 年 产生 的 数据 量 超过 8ZB。 


3.2.2 ”类 型 多 样 


当前 大 数据 不 仅仅 是 数据 量 的 井喷 式 增长 ， 而 且 还 包含 数据 类 型 的 多 样 化 。 以 往 数 
据 大 都 以 二 维 结构 呈现 ， 但 随 着 互联 网 、 多 媒体 等 技术 的 快速 发 展 和 普及 ， 视 频 、 音 频 、 
图 片 、 邮 件 、HTML，RFID，GPS 和 传感器 等 产生 的 非 结构 化 数据 也 每 年 以 60% 的 速度 增 
长 ， 预 计 非 结构 化 数据 将 占 数据 总 量 的 80% 以 上 。 
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3.2.3 ”运算 高 效 


基于 云 计 算 的 Hadoop 大 数据 框架 ， 利 用 集群 的 威力 高 速 运算 和 存储 ， 实 现 了 一 个 分 
布 式 运行 系统 ， 以 流 的 形式 提供 高 传输 率 来 访问 数据 ， 适 应 了 大 数据 的 应 用 程序 。 而 且 ， 
数据 挖 据 、 语 义 引擎 、 可 视 化 分 析 等 技术 的 发 展 ， 可 从 海量 的 数据 中 深度 解析 ， 提 取信 
息 ， 成 为 掌控 数据 增值 的 “加 速 器 ”。 


3.3 ”电网 大 数据 分 类 


电力 大 数据 是 大 数据 理念 、 技 术 和 方法 在 电力 行业 的 实践 。 电 力 大 数据 涉及 发 电 、 输 
电 、 变 电 、 配 电 、 用 电 、 调 度 各 环节 ， 是 跨 单 位 、 跨 专业 、 跨 业务 数据 的 分 析 与 挖掘 以 及 
数据 可 视 化 。 电 力 大 数据 由 结构 化 数据 和 非 结构 化 数据 构成 ， 随 着 智能 电网 建设 和 物 联网 
的 应 用 ， 非 结构 化 数据 呈现 出 快速 增长 的 势头 ， 其 数量 将 大 大 超过 结构 化 数据 。 

电力 大 数据 的 应 用 一 方面 是 与 宏观 经 济 、 人 民生 活 、 社 会 保障 、 道 路 交通 灯 信 息 融 
合 ， 促 进 经 济 社会 发 展 ; 另 一 方面 ， 是 电力 行业 或 企业 内 部 跨 专业 、 跨 单位 、 跨 部 门 的 数 
据 融合 ， 来 提升 行业 、 企 业 管理 水 平和 经 济 效益 。 

大 数据 可 通过 许多 方式 来 存储 、 获 取 、 处 理 和 分 析 。 每 组 大 数据 来 源 都 有 不 同 的 特 
征 ， 包 括 数据 的 频率 、 量 、 速 度 、 类 型 和 真实 性 。 处 理 并 存储 大 数据 时 ， 会 涉及 更 多 维 
度 ， 比 如 治理 、 安 全 性 和 策略 ， 选 择 一 种 架构 并 构建 合适 的 大 数据 解决 方案 将 极 具 挑战 
性 ， 因 为 需要 考虑 的 因素 非常 多 。 

国家 电网 公司 为 深入 推进 “两 个 转变 ”， 实 现 “ 一 强 三 优 ”现代 公司 的 战略 目标 ， 提 
出 了 建设 三 集 五 大 体系 的 重大 举措 。 三 集 五 大 体系 的 建设 不 仅 是 传统 电网 设施 的 升级 和 改 
造 ， 还 是 更 全 面 、 更 深入 的 电网 运行 模式 和 业务 模式 的 革新 。 首 先 ， 三 集 五 大 体系 使 信息 
通信 技术 正 以 前 所 未 有 的 广度 、 深 度 与 电网 生产 、 企 业 管理 快速 融合 ， 三 集 五 大 等 业务 协 
同性 更 强 ， 业 务 流 、 信 息 流 趋 于 一 致 ， 电网 业务 数据 将 从 时 效 性 层面 进一步 丰富 和 拓展 。 
其 次 ， 充 分 利用 这 些 基于 电网 实际 的 数据 ， 对 其 进行 深入 分 析 ， 挖 气 更 深层 次 的 数据 价 
值 ， 便 可 以 提供 大 量 的 高 附加 值 服务 。 这 些 增值 服务 将 有 利于 电力 企业 精细 化 运营 管理 ， 
提高 公司 管理 水 平和 运营 效率 ， 并 可 以 产生 很 多 创新 性 业务 。 


3.3.1 大 数据 在 大 规划 中 的 应 用 分 析 


随 着 配 网 规划 业务 的 覆盖 面 进一步 扩大 ， 将 逐渐 积累 TB 级 数据 ， 这 对 数据 的 收集 、 存 
储 和 分 析 处 理 将 提出 更 高 的 要 求 。 届 时 可 以 利用 大 数据 技术 进一步 提升 如 下 业务 应 用 价值 。 
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(1) 用 电量 预测 。 基 于 海量 历史 电量 数据 ， 规 划 区 域 面积 、 历 史 人 口 、 历 史 国民 经 
济 数据 、 三 产 比 例 等 变化 情况 ， 对 区 域 用 电量 进行 预测 ， 作 为 进一步 规划 设计 的 依据 。 

(2) 空间 负荷 预测 。 基 于 全 网 中 各 小 区 的 占 地 面积 、 用 地 类 型 、 容 积 率 ， 行 业 的 建 
筑 面积 负荷 密度 、 占 地 面积 负荷 密度 ， 小 区 目标 年 占 地 面积 、 小 区 目标 年 建筑 面积 ， 总 负 
荷 值 、 行 业 负荷 值 等 数值 ， 对 远景 年 负荷 进行 预测 。 

(3) 多 指标 关联 分 析 。 从 多 个 外 部 系统 (如 GIS、PMS、OMS 等 ) 抓 取 所 需 数据 的 
时 间 一 致 性 切片 ， 进 行 综合 分 析 利 用 ， 从 而 支持 规划 设计 。 


3.3.2 ”大 数据 在 大 建设 中 的 应 用 分 析 


在 大 建设 应 用 方面 ， 系 统 目前 每 年 管理 的 项 目 可 以 达到 2000 一 3000 个 ， 但 由 于 自身 
数据 存储 和 处 理 能 力 有 限 ， 在 管理 项 目 时 只 能 保留 少量 的 建设 现场 信息 〈 仅 图 片 ， 无 视 
频 ) ， 这 导致 管理 人 员 无 法 全 面 地 了 解 项 目的 工作 细节 ， 且 由 于 缺乏 自动 化 的 分 析 与 决策 
应 用 支持 ， 这 些 数 据 也 无 法 得 到 有 效 利 用 。 

利用 大 数据 技术 在 “大 建设 ”基建 系统 中 的 应 用 主要 可 在 如 下 几 个 方面 提升 : 提高 系 
统 非 结 构 化 数据 存储 能 力 ， 扩 大 现场 信息 收集 范围 和 频率 ， 提 升 建设 项 目 管理 全 面 性 和 准 
确 性 ;通过 大 数据 技术 ， 逐 步 形成 并 提高 对 大 量 非 结构 化 数据 的 分 析 处 理 能 力 ， 基 于 此 能 
力 之 上 ， 采 用 自动 对 比 ， 模 式 识别 等 挖掘 技术 ， 对 建设 管理 的 整个 过 程 提供 良好 的 、 自 动 
化 的 智能 分 析 和 监控 功能 。 


3.3.3 ”大 数据 在 大 检修 中 的 应 用 分 析 


设备 状态 信息 的 获取 手段 有 很 多 种 ， 目 前 最 常用 的 是 通过 各 种 传感器 ， 实 时 或 定期 获 
取 设备 的 状态 信息 。 视 频 作为 一 种 特殊 的 传 感 数 据 ， 可 以 作为 设备 状态 信息 获取 的 一 种 重 
要 而 有 效 的 手段 。 随 着 视频 数据 智能 分 析 技 术 的 发 展 ， 目 前 已 经 能 够 实时 准确 地 识别 变 电 
站 多 种 表 计 、 刀 冰 、 开 关 与 隔离 开关 的 位 置 、 状 态 或 读数 。 通 过 对 视频 数据 的 智能 分 析 ， 
还 可 以 起 到 其 他 类 型 传 感 数据 无 法 实现 的 功能 。 利 用 大 数据 技术 ， 主 要 使 大 检修 应 用 可 在 
如 下 4 个 方面 提升 。 

(1) 状态 评价 。 综 合 设备 各 种 基础 及 运行 监测 数据 ， 加 上 视频 数据 智能 识别 技术 识 
别 出 的 设备 状态 量 等 ， 建 立 综合 评价 模型 ， 得 出 设备 总 体 健康 状态 。 

(2) 趋势 分 析 。 研 究 基 于 历史 数据 的 趋势 分 析 算法 ， 建 立 反 映 设备 健康 状态 的 数学 
模型 ， 对 设备 故障 进行 趋势 分 析 ， 掌 控 设备 风险 。 

(3) 实时 报警 。 基 于 视频 监控 的 设备 自动 巡 检 技术 和 安防 技术 ， 发 现 外 观 变 化 、 表 
计 变 化 、 发 热 缺 陷 、 非 法 入 侵 、 物 体 靠近 、 现 场 烟火 等 设备 健康 危害 因素 ， 进 行 实时 报 
警 ， 保 证 设备 的 正常 运行 。 
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(4) 检修 、 技 改 、 大 修 决策 支持 。 根 据 设备 评价 结果 ， 优 化 检修 策略 ， 为 技 改 、 大 
修 计划 制定 、 筛 选 评审 提供 决策 依据 。 


3.3.4 ”大 数据 在 大 运行 中 的 应 用 分 析 


设备 状态 管理 是 公司 大 运行 应 用 的 重要 业务 模块 。 设 备 状态 管理 可 对 计划 类 应 用 进行 
校 验 并 提供 完善 的 建议 ， 为 电网 调度 提供 辅助 决策 ， 提 升 电网 安全 性 与 可 靠 性 。 设 备 状 态 
管理 目前 只 根据 其 他 调度 业务 进行 当前 设备 状态 断面 的 记录 ， 没 有 对 历史 设备 断面 的 查询 
及 未 来 状态 的 预测 分 析 。 随 着 调度 业务 规范 的 进一步 完善 ， 对 设备 状态 模块 的 提升 需求 日 
趋 迫切 。 设 备 状态 管理 基于 电网 设备 台 账 信息 、 设 备 拓扑 信息 、 设 备 遥 信 遥 测 信息 等 相关 
信息 ， 可 以 进行 设备 状态 的 以 下 3 类 大 数据 应 用 。 

(1) 历史 时 刻 查询 。 实 现 设备 数据 的 海量 存储 ， 直 接 快 速 查询 到 某 时 刻 的 设备 状态 
及 设备 的 操作 历程 。 

(2) 设备 数据 质量 分 析 。 综 合 设备 信息 得 出 当前 设备 状态 断面 ， 进 行 系统 间 设 备 状 
态 的 互 检 比 对 ， 提 醒 其 他 系统 或 功能 进行 检查 与 核对 。 

(3) 未 来 时 刻 断 面 预测 。 基 于 海量 存储 的 历史 状态 数据 ， 自 动 总 结 电网 调度 规则 ， 
在 任意 时 刻 断 面 的 基础 上 ， 自 动 收集 涉及 设备 状态 变化 的 计划 类 信息 ， 进 行 智 能 编排 ， 演 
算出 未 来 一 段 时 间 内 的 调度 操作 历程 ， 最 终 预 测 电网 在 某 一 时 刻 的 设备 断面 。 


3.3.5 大 数据 在 大 营销 中 的 应 用 分 析 


大 营销 的 重点 是 优化 现 有 营销 组 织 模式 ， 拓 展 面 向 智能 化 、 互 动 化 的 服务 能 力 ， 加 快 
用 电信 息 采 集 系统 建设 ， 科 学 配置 计量 、 收 费 和 服务 资源 ， 实 现 计量 检定 配送 、95598 服 
务 等 业务 向 省 级 集中 ， 构 建 营销 稽查 监控 体系 ， 推 行 统一 的 业务 模式 、 服 务 标准 和 工作 流 
程 。 目 前 公司 大 营销 业务 相关 的 支撑 系统 主要 有 SG186 工 程 核心 之 一 的 营销 业务 系统 、 负 
责 用 户 侧 电能 量 自动 采集 的 用 电信 息 采 集 系统 、 支 撑 营 销 数据 日 常 统计 工作 的 辅助 决策 系 
统 等 。 其 中 营销 业务 系统 负责 业 扩 报 装 、 电 费 核 算 收缴 等 日 常 业务 的 流程 管控 ， 用 电信 息 
采集 系统 负责 用 户 电 量 信息 采集 ， 为 营销 业务 系统 电费 核算 提供 数据 ， 辅 助 决策 系统 用 于 
完成 统计 报表 制作 等 功能 。 另 外 ， 为 了 满足 营销 业务 新 的 需求 ， 相 关 网 省 公司 建设 了 诸如 
智能 客户 档案 管理 等 系统 ， 用 于 将 供电 合同 、 用 户 身份 证 明 等 纸 质 资料 扫描 存档 ， 方 便 检 
索 和 查找 。 

大 营销 相关 系统 数据 量 的 急剧 增加 ， 给 数据 存储 、 分 析 处 理 、 统 计 计 算 带 来 极 大 挑 
战 。 根 据 大 营销 业务 、 信 息 系统 及 其 数据 的 现状 和 需求 ， 大 数据 可 以 在 以 下 方面 促进 大 营 
销 的 进一步 提升 : 营销 海量 数据 的 高 效 分 布 式 存 取 和 并 行 计算 。 深 度 挖掘 营销 数据 价值 ， 
从 管理 、 客 户 服务 、 业 务 拓展 等 不 同 的 方向 促进 营销 业务 提升 。 其 中 管理 方向 主要 有 线 损 
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分 析 、 用 电 异 常 分 析 、 计 量 和 采集 设备 的 智能 化 运 维 等 ; 客户 服务 方向 主要 是 向 用 电 客 户 
提供 有 针对 性 的 用 电 优 化 建议 ， 促 进 用 户 节约 用 电 ; 业务 拓展 方向 是 积极 策划 数据 类 产 
品 ， 引 导 和 促进 公司 由 “只 卖 电 ”向 “也 卖 电 ” 发 展 。 


3.3.6 ”大 数据 在 运营 监控 中 心中 的 应 用 分 析 


国家 电网 两 级 运营 监控 中 心 以 服务 公司 战略 为 目标 ， 以 核心 资源 和 主要 经 营 活动 管控 
为 重点 ， 以 信息 化 手段 为 支撑 ， 打 造 全 天 候 、 全 方位 、 全 流程 综合 管理 运营 监测 平台 。 利 
用 大 数据 技术 在 运 监 中 心中 的 应 用 主要 可 在 如 下 3 个 方面 提升 。 

(1) 构建 大 数据 背景 下 的 在 线 监 测 、 在 线 分 析 和 在 线 计算 工作 平台 ， 满 足 日 常 监 
测 、 协 调控 制 与 综合 管理 需要 。 建 设 总 部 和 省 公司 两 级 运营 监控 〈 测 ) 中 心 ， 实 现 对 公司 
经 营 管理 24 小 时 即时 在 线 监测 分 析 ， 及 时 发 现 公司 运营 过 程 中 的 异动 和 问题 并 自动 预警 。 

(2) 跨 业 务 多 专业 关联 分 析 。 为 了 满足 运 监 跨 业务 跨 专 业 分 析 和 挖掘 的 需要 ， 在 大 
数据 环境 下 迫切 需要 构建 多 种 业务 模型 和 分 析 挖 掘 算法 ， 形 成 大 数据 模型 库 和 算法 库 ， 利 
用 聚 类 和 模式 识别 技术 ， 实 现 运营 监测 多 业务 关联 分 析 ， 如 对 营销 和 财务 收 支 情况 建 模 进 
行 关联 分 析 等 。 

(3) 运 监 数据 及 监测 对 象 的 质量 诊断 体系 。 通 过 在 大 数据 环境 下 对 海量 异 构 数 据 进 
行 实时 监控 分 析 ， 在 数据 处 理 全 过 程 中 不 断 提 升 数据 质量 ， 持 续 改 进 数 据 可 用 率 ， 来 为 拓 
展 传统 的 决策 分 析 提 供 保 证 。 


3.3.7 ”大 数据 在 客服 中 心中 的 应 用 分 析 


客户 服务 中 心 是 公司 优化 整合 服务 资源 ， 打 造 “ 全 业务 、 人 全天候， 服务 专业 化 、 管 
理 精 益 化 、 发 展 多 元 化 ”的 供电 服务 平台 。 客 服 中 心 核心 业务 系统 分 为 95598 智 能 互动 网 
站 、95598 业 务 支持 系统 、 基 础 支撑 平台 3 个 独立 系统 。95598 业 务 支 持 系统 采用 全 国 一 级 
部 署 模式 。 按 客户 服务 中 心 数 据 的 种 类 来 分 ， 主 要 有 两 类 ， 一 是 档案 、 交 易 和 GIS 等 结构 
化 数据 ， 全 国 约 有 3TB， 日 增 约 1GB; 二 是 语音 、 音 频 类 非 结 构 化 数据 ， 以 文件 形式 保 
存 ， 全 国 约 有 近 10TB， 年 增 7TB， 并 有 加 速 增长 趋势 。 利 用 大 数据 技术 在 客户 服务 中 心 的 
应 用 可 在 如 下 3 个 方面 提升 。 

(1) 服务 质量 实时 监控 。 采 用 大 数据 技术 实现 对 服务 通话 的 准 实时 /实时 监控 和 分 
析 ， 通 过 对 客服 过 程 的 实时 质 检 ， 最 大 限度 地 保障 通话 服务 质量 。 

(2) 热点 问题 集中 处 理 。 采 用 大 数据 技术 挖掘 一 段 时 间 内 的 用 户 关注 热点 ， 并 及 时 
答复 和 处 理 ， 提 高 客户 满意 率 。 

(3) 座席 答案 智能 推送 。 人 工 搜索 答案 及 时 人 性 很 难 满足 要 求 ， 利 用 大 数据 技术 实现 
答案 的 智能 匹配 并 自动 推送 给 座席 。 
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基于 国家 电网 公司 现 有 一 体 化 平台 、 业 务 现状 及 电力 数据 特点 ， 提 取 公司 三 集 五 大 
和 两 中 心中 电力 行业 大 数据 分 析 的 典型 应 用 场景 ， 运 用 大 数据 核心 业务 应 用 分 析 技术 ， 提 
升 现 有 平台 对 电力 大 数据 的 存储 、 计 算 、 分 析 和 管控 能 力 ; 结合 三 集 五 大 两 中 心 核心 业务 
需求 ， 构 建 以 业务 趋势 预测 、 数 据 价值 挖掘 为 主 的 大 数据 服务 体系 ， 试 点 并 推广 大 数据 应 
用 ， 提 高 公司 生产 经 营 和 管理 服务 水 平 。 


3.4 ”电网 大 数据 生命 周期 


随 着 互联 网 运用 的 不 断 普 及 ， 人 们 不 管 是 工作 、 生 活 、 学 习 都 已 离 不 开 大 数据 ， 对 数 
据 安全 的 保护 愈 显 重要 。 在 互联 网 时 代 ， 不 论 接受 与 否 ， 大 数据 都 已 融入 了 人 们 的 生活 。 
从 数据 本 身 来 看 ， 它 从 产生 到 销毁 是 有 生命 周期 的 ， 即 每 个 数据 都 有 生命 。 大 数据 之 所 
以 “大 ”， 首 先是 它 的 体 量 大 ， 数 据 来 源 比较 杂 ， 所 以 会 产生 诸多 独特 的 安全 保护 
需求 。 

随 着 各 家 银行 、 企 业 、 政 府 实施 数据 共享 ， 集 中 存放 和 处 理 的 数据 量 急剧 增加 ， 系 统 
资源 开销 和 运行 效率 都 面临 着 越 来 越 大 的 压力 ， 为 控制 在 线 数据 规模 、 保 证 应 用 系统 健康 
高 效 运行 ， 对 数据 从 创建 到 最 终 销毁 的 生命 周期 进行 全 程 管理 ， 显 得 越 来 越 迫切 。 

在 此 过 程 中 ， 不 同 阶段 的 数据 其 性 能 、 可 用 性 、 保 存 等 要 求 也 不 一 样 。 通 常情 况 下 ， 
在 生命 周期 初期 ， 数 据 的 使 用 频率 较 高 ， 需 要 使 用 高 存储 以 确保 数据 的 高 可 用 性 ， 随 着 时 
间 的 推移 ， 数 据 重要 性 会 逐渐 降低 ， 使 用 频率 也 会 随 之 下 降 。 

所 以 ， 要 对 每 个 数据 进行 有 效 保 护 ， 才 能 使 数据 的 价值 得 到 有 效 利 用 。 例 如 ， 我 们 应 
将 数据 进行 不 同 级 别 的 存储 ， 为 其 提供 适当 的 可 用 性 、 存 储 空间 ， 以 降低 管理 成 本 的 资源 
开销 。 另 外 ， 最 终 大 部 分 数据 将 不 再 会 被 使 用 ， 可 以 将 数据 清理 后 归档 保存 ， 以 备 临时 需 
要 时 使 用 。 

总 之 ， 对 于 数据 全 生命 周期 管理 ， 我 们 可 以 通过 设计 历史 数据 库 、 归 档 数据 库 、 数 据 
仓库 、 备 份 数据 、 测 试 数据 库 等 平台 ， 对 历史 数据 分 级 归档 ， 对 敏感 数据 脱 敏 处 理 ， 并 对 
流向 各 个 平台 的 数据 进行 安全 管控 ， 实 行 按 角色 授权 管理 、 查 询 。 

数据 安全 是 智慧 城市 的 核心 。 事 实 上 ， 数 据 处 理 周期 可 划分 为 数据 源 、 数 据 管理 与 数 
据 应 用 三 个 环节 。 数 据 源 是 保证 ， 管 理 是 手段 ， 应 用 才 是 根本 。 以 打造 智慧 城市 为 例 ， 打 
造 的 是 以 物 联 网 为 基础 、 以 大 数据 为 灵魂 的 城市 。 

为 什么 这 样 说 呢 ? 因为 一 座 智 慧 城市 的 建设 ， 不 是 简单 地 决定 于 建 了 多 少 摄像 头 、 
布局 了 多 少 网 络 基站 ， 更 多 的 应 该 是 通过 对 数据 的 分 析 ， 去 指导 我 们 如 何 进行 社会 治理 。 
由 此 来 看 ， 数 据 安全 是 智慧 城市 的 核心 ， 这 样 的 数据 安全 保障 ， 未 来 不 仅仅 涵盖 图 像 和 文 
字 ， 还 要 涵盖 信号 系统 。 
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数据 安全 具有 保密 性 、 完 整 性 、 实 时 性 3 个 特征 。 一 旦 数据 不 完整 乃至 数据 实时 延 
迟 ， 便 会 影响 到 数据 存储 空间 、 传 输 信道 、 物 理 体制 、 处 理 机 构 等 各 个 方面 。 这 是 一 个 很 
复杂 的 系统 ， 需 要 全 社会 的 共同 参与 。 

首先 ， 要 推进 网 络 安全 治理 的 社会 化 。 在 发 挥 好 党 委 领 导 、 政 府 主导 作用 的 同时 ， 
引导 广大 网 民 增强 主人 翁 精 神 ， 激 发 社会 自治 、 自 主 、 能 动力 量 ， 把 大 众 的 问题 交 由 大 
众 解决 。 

其 次 ， 要 推进 网 络 安全 治理 的 法 治 化 。 善 于 运用 法 治 思维 构建 网 络 行为 有 预期 、 管 理 
过 程 公开 、 责 任 界 定 明晰 的 网 络 治理 制度 体系 ， 通 过 运用 法 治 方式 把 网 络 治理 难题 转化 为 
执法 司法 问题 加 以 解决 。 

第 三 ， 要 推进 网 络 安全 治理 的 精细 化 。 在 提升 社会 治理 现代 化 水 平 过 程 中 ， 不 断 培 育 
以 尊重 事实 、 推 崇 理性 、 强 调 精确 、 注 重 细节 为 主要 特征 的 “数据 文化 ”， 把 精细 化 、 标 
准 化 、 常 态 化 理念 贯穿 于 网 络 安全 治理 全 过 程 。 

企业 建立 大 数据 的 生命 周期 应 该 包括 : 大 数据 组 织 、 评 估 现 状 、 制 定 大 数据 战略 、 数 
据 定 义 、 数 据 收集 、 数 据 分 析 、 数 据 治理 和 持续 改进 。 


3.4.1 大 数据 的 组 织 


没有 人 ， 一 切 都 是 亡 谈 。 大 数据 生命 周期 的 第 一 步 应 该 是 建立 一 个 专门 设 预 算 且 独 
立 KPI 的 “大 数据 规划 、 建 设 和 运营 组 织 ”， 包 括 高 层 的 首席 数据 官 ， 公 司 数据 管理 委 
员 会 或 大 数据 执行 筹划 指导 委员 会 ， 大 数据 项 目 组 或 大 数据 项 目 组 的 前 身 〈 大 数据 项 目 
预 研究 团队 或 大 数据 项 目 筹备 组 ) 。 这 个 团队 是 今后 大 数据 战略 制定 和 实施 者 的 中 坚 
力量 。 


3.4.2 大 数据 的 现状 评估 和 差距 分 析 


在 制定 大 数据 研究 分 析 战 略 之 前 ， 先 要 做 现状 评估 ， 评 估 前 的 调研 包括 3 个 方面 : 一 
是 对 外 调研 ， 包 括 了 解 业 界 大 数据 有 哪些 最 新 的 发 展 ， 行 业 顶 尖 企 业 的 大 数据 应 用 水 平 如 
何 ， 行 业 的 平均 水 平 尤其 是 主要 竞争 对 手 的 大 数据 应 用 水 准 如 何 ， 二 是 对 内 容 户 调研 ， 包 
括 管理 层 、 业 务 部 门 、IT 部 门 自身 、 最 终 用 户 ， 对 大 数据 业务 有 何 期 望 等 ， 三 是 自身 状况 
摸底 ， 了 解 自己 的 技术 、 人 员 储 备 情况 。 根 据 分 析 情 况 找到 业务 痛 点 ， 找 出 业务 痛 点 后 ， 
要 给 出 成 熟 度 现状 评估 。 一 般 而 言 ， 一 个 公司 的 大 数据 应 用 成 熟 度 可 以 划分 为 4 个 阶段 : 
初始 期 ( 仅 有 概念 ， 没 有 实践 ); 探索 期 (已 经 了 解 基本 概念 ， 也 有 专人 进行 了 探索 和 探 
讨 ， 有 了 基本 的 大 数据 技术 储备 ) ; 发 展期 (已 经 拥有 或 正在 建设 明确 的 战略 、 团 队 、 工 
具 、 流 程 ， 交 付 了 初步 的 成 果 ) ; 成 熟 期 《有 了 稳定 且 不 断 成 熟 的 战略 、 团 队 、 工 具 、 流 
程 ， 不 断交 付 高 质量 成 果 ) 。 
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3.4.3 大 数据 的 战略 


有 了 大 数据 组 织 、 知 道 了 本 公司 大 数据 的 现状 、 差 距 和 需求 就 可 以 制定 大 数据 的 战略 
目标 了 。 大 数据 战略 的 制定 是 整个 大 数据 生命 周期 的 灵魂 和 核心 ， 它 将 指引 整个 组 织 大 数 
据 的 发 展 。 

大 数据 战略 的 内 容 没 有 统一 的 模板 ， 但 有 一 些 基本 的 要 求 。 

(1) 要 简洁 ， 又 要 能 涵盖 公司 内 外 干系 人 的 需求 。 

(2) 要 明确 ， 以 便 清晰 地 告诉 所 有 人 我 们 的 目标 和 愿景 是 什么 。 

(3) 要 现实 ， 即 这 个 目标 经 过 努力 是 能 达成 的 。 


3.4.4 大 数据 的 定义 


“数据 不 去 定义 它 ， 你 就 无 法 采集 它 ， 无 法 采集 它 ， 你 就 无 法 分 析 它 ， 无 法 分 析 它 ， 
你 就 无 法 衡量 它 ， 无 法 衡量 它 ， 你 就 无 法 控制 它 ， 无 法 控制 它 ， 你 就 无 法 管理 它 ， 无 法 管 
理 它 ， 你 就 无 法 利用 它 ”。 所 以 “在 需求 和 战略 明确 之 后 ， 数 据 定义 就 是 一 切 数据 管理 的 
前 提 ”。 


3.4.5 数据 采集 


(1) 大 数据 时 代 的 数据 源 很 广泛 ， 它 们 可 能 来 自 于 3 个 主要 方面 : 现 有 公司 内 部 网 各 
应 用 系统 产生 的 数据 (比如 办 公 、 经 营 生产 数据 ) 、 来 自 公司 外 互联 网 的 数据 (比如 社交 
网 络 数据 ) 和 物 联网 等 。 

(2) 大 数据 的 种 类 有 很 多 ， 总 的 来 讲 可 以 分 为 传统 的 结构 化 数据 和 大 量 的 非 结 构 化 
数据 〈 比 如 音 视频 等 ) 。 

(3) 数据 采集 、 挖 掘 工具 有 很 多 ， 如 基于 或 集成 Hadoop 的 ETL 平 台 、 以 交互 式 探索 
及 数据 挖掘 为 代表 的 数据 价值 发 掘 类 工具 也 渐 成 趋势 。 

(4) 数据 采集 的 原则 。 在 数据 源 广泛 、 数 据 量 巨大 、 采 和 集 挖 抉 工具 众多 的 背景 下 ， 
大 数据 决策 者 必须 清楚 地 确定 数据 采集 的 原则 : “能 够 采集 到 的 数据 ， 并 不 意味 着 值得 或 
需要 去 采集 它 。 需 要 采集 的 数据 和 能 够 采集 到 的 数据 的 “交集 ”， 才 是 我 们 确定 要 去 采集 
的 数据 。” 


3.4.6 ”数据 处 理 和 分 析 


业界 有 很 多 工具 能 帮助 企业 构建 一 个 集成 的 “数据 处 理 和 分 析 平 台 ”。 对 企业 大 数据 
管理 者 、 规 划 者 来 讲 ， 关 键 是 “工具 要 满足 平台 要 求 ， 平 台 要 满足 业务 需求 ， 而 不 是 业务 
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要 去 适应 平台 要 求 ， 平 台 要 去 适应 厂商 的 工具 要 求 ”。 这 个 集成 的 平台 应 该 具有 检索 、 分 
类 、 关 联 、 推 送 和 方便 地 实施 元 数据 管理 等 能 力 。 


3.4.7 数据 呈现 


大 数据 管理 的 价值 ， 最 终 要 通过 多 种 形式 的 数据 呈现 来 帮助 管理 层 和 业务 部 门 进行 商 
业 决 策 。 大 数据 的 决策 者 需要 将 大 数据 的 系统 与 BI 商业 智能 ) 系统 和 KM (知识 管理 ) 
系统 集成 。 


3.4.8 审计、 治理 与 控制 


(1) 大 数据 的 审计 、 治 理 和 控制 指 的 是 大 数据 管理 层 组 建 专门 的 治理 控制 团队 ， 制 
定 一 系列 策略 、 流 程 、 制 度 和 考核 指标 体系 来 监督 、 检 查 、 协 调 多 个 相关 职能 部 门 的 目 
标 ， 从 而 优化 、 保 护 和 利用 大 数据 ， 保 障 其 作为 一 项 企业 战略 资产 真正 发 挥 价值 。 

(2) 大 数据 的 治理 是 IT 治理 的 组 成 部 分 ， 大 数据 的 审计 是 IT 审计 的 组 成 部 分 ， 这 个 
体系 要 统筹 规划 和 实施 ， 而 不 是 割裂 地 规划 和 实施 。 

(3) 大 数据 的 审计 、 治 理 与 控制 的 核心 是 数据 安全 、 数 据 质 量 和 数据 效率 。 


3.4.9 持续 改进 


基于 不 断 变 化 的 业务 需求 和 审计 与 治理 中 发 现 的 大 数据 整个 生命 周期 中 暴露 的 问题 ， 
引入 PDCA 等 方法 论 ， 去 不 断 优 化 策略 、 方 法 、 流 程 、 工 具 ， 不 断 提升 相关 人 员 的 技能 ， 
从 而 确保 大 数据 战略 的 持续 成 功 。 


3.5 ”电网 的 价值 链 


如 仅 从 体 量 特征 和 技术 范畴 来 讲 ， 电 力 大 数据 是 大 数据 在 电力 行业 的 聚焦 和 子 集 。 但 
是 ， 电 力 大 数据 不 仅仅 是 技术 进步 ， 更 是 涉及 整个 电力 系统 在 大 数据 时 代 发 展 理 念 、 管 理 
体制 和 技术 路 线 等 方面 的 重大 变革 ， 是 下 一 代 智能 化 电力 系统 在 大 数据 时 代 下 价值 形态 的 
跃升 。 

重 塑 电力 核心 价值 和 转变 电力 发 展 方式 是 电力 大 数据 的 两 条 核心 主线 。 电 力 大 数据 通 
过 对 市 场 个 性 化 需求 和 企业 自身 良性 发 展 的 挖掘 ， 驱 动 电力 企业 从 “以 电力 生产 为 中 心 ” 
向 “以 客户 为 中 心 ” 转 变 。 电 力 大 数据 通过 对 电力 系统 生产 运行 方式 的 优化 、 对 间歇 式 可 


第 3 章 ”电网 大 数据 的 基本 概念 


再 生 能 源 的 消 纳 以 及 对 全 社会 节能 减 排 观念 的 引导 ， 能 够 推动 中 国电 力 工业 由 高 耗 能 、 高 
排放 、 低 效率 的 粗放 发 展 方式 向 低 耗 能 、 低 排放 、 高 效率 的 绿色 发 展 方式 转变 。 此 外 ， 电 
力 大 数据 的 有 效应 用 可 以 面向 行业 内 外 提供 大 量 的 高 附加 值 的 内 容 增值 服务 。 

意 昂 集团 (E.ON) 是 欧洲 最 大 的 电力 集团 公司 之 一 ， 兼 营 石油 、 贸 易 、 运 输 等 业 
务 ，2012 年 在 世界 500 强 榜 单 上 排名 第 16 位 ， 英 、 德 等 30 多 个 国家 的 电网 与 发 电 企业 都 属 
于 该 集团 旗下 资产 ， 用 户 数量 超过 2600 万 人 。2015 年 4 月 ， 该 集团 宣布 携手 瑞典 爱立信 
(Ericsson) 公司 探索 “大 数据 ”。 

爱立信 公司 将 向 意 昂 集团 出 售 相应 的 电网 应 用 设备 和 软件 ， 用 来 将 意 昂 旗下 电网 的 数 
据 传输 量 提高 3000%， 可 见 这 家 电力 企业 在 未 来 对 数据 的 依赖 。 爱 立信 公司 将 帮助 意 昂 对 
这 些 数 据 进 行 管理 和 分 析 ， 从 而 为 企业 经 营 服务 。 这 次 “大 数据 ”合作 主要 集中 在 瑞典 电 
网 ， 意 昂 在 瑞典 大 约 拥有 60 万 块 智能 电表 。 

像 意 昂 这 样 的 大 型 综合 性 集团 ， 为 什么 一 定 与 他 人 联手 而 不 是 让 自己 的 办 公 室 来 分 析 
数据 呢 ? 

IBM 公 司 在 美国 德 克 萨 斯 州 有 个 智能 电网 项 目 ， 将 拥有 320 万 块 智能 电表 ，“ 原 来 都 
是 每 个 月 抄 一 次 表 ， 现 在 智能 电表 每 15 分 钟 就 向 IBM 公 司 发 送 一 次 用 户 的 用 电 数 据 。320 
万 块 表 ，15 分 钟 抄 一 次 ， 一 个 月 下 来 是 多 么 大 的 一 堆 数据 ? 没有 专业 化 的 “大 数据 ”分 析 
肯定 不 行 。” 项 目 负责 人 说 。 这 或 许 就 是 意 晶 集团 牵手 爱立信 公司 做 “大 数据 ”的 原因 。 

与 此 同时 ， 电 力 设备 制造 商 西 门 子 公 司 也 宣布 携手 数据 分 析 公 司 天 豁 (Teradata) 进 
行 “ 大 数据 营销 ”， 将 电力 企业 设 定 为 目标 客户 ， 提 供 从 智能 电表 到 电网 运行 系统 的 设备 
制造 与 数据 分 析 服 务 。 此 前 ， 天 容 公 司 已 经 和 美国 南 加 州 爱迪生 电力 公司 等 电力 企业 建立 
合作 ， 对 停电 、 电 力 供 应 、 电 力 需 求 、 天 气 对 电力 供需 的 影响 等 数据 进行 精确 分 析 ， 从 而 
为 电网 安全 运行 提供 更 可 靠 的 参考 依据 。 

目标 达成 时 ，“ 大 数据 ”所 包含 的 信息 将 会 给 发 电 和 电网 企业 做 出 更 好 的 预测 ， 比 如 
气温 每 升 高 一 度 对 电力 需求 的 影响 、 用 电 高 峰 时 间 可 以 精准 到 分 钟 等 具体 数据 ， 都 可 以 通 
过 “大 数据 ”分 析 来 获得 。 

《大 数据 时 代 》 的 作者 舍 恩 伯 格 说 ， 可 以 抽象 地 认为 ， 智 能 电网 就 是 “大 数据 ”这 个 
概念 在 电力 行业 中 的 应 用 ， 就 是 通过 网 络 将 用 户 的 用 电 习 惯 等 信息 传 回 给 电网 企业 的 信息 
中 心 ， 进 行 分 析 处 理 ， 并 对 电网 规划 、 建 设 、 服 务 等 提供 更 可 靠 的 依据 。 

日 前 ， 美 国 加 州 大 学 洛杉矶 分 校 的 研究 者 就 根据 “大 数据 ”理论 设计 了 一 款 “ 电 力 地 
图 ”， 将 人 口 调查 信息 、 电 力 企业 提供 的 用 户 实时 用 电信 息 和 地 理 、 气 象 等 信息 全 部 集合 
在 一 起 ， 制 作 了 一 款 加 州 地 图 。 该 图 以 街区 为 单位 ， 展 示 每 个 街区 在 当下 时 刻 的 用 电量 ， 
甚至 还 可 以 将 这 个 街区 的 用 电量 与 该 街区 人 的 平均 收入 和 建筑 物 类 型 等 相 比 照 ， 从 而 得 出 
更 为 准确 的 社会 各 群体 的 用 电 习 惯 信息 。 

这 个 “大 数据 ”地 图 也 为 城市 和 电网 规划 提供 了 直观 有 效 的 负荷 数 预测 依据 ， 也 可 以 
按照 图 中 显示 的 停电 频率 较 高 、 过 载 较为 严重 的 街区 进行 电网 设施 的 优先 改造 。 
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同时 ， 对 于 风能 、 太 阳 能 等 具有 间歇 性 的 新 能 源 ， 通 过 “大 数据 ”分 析 进 行 有 效 调 
节 ， 也 可 以 使 新 能 源 更 好 地 与 传统 的 水 火电 进行 互补 ， 更 为 灵活 地 出 力 。 

随 着 数字 信息 化 时 代 的 迅猛 发 展 ， 信 息 量 也 呈 爆 炸 性 增长 态势 。 在 人 类 充分 享受 信息 
化 带 来 的 资讯 、 方 便 和 快捷 时 ， 也 使 得 全 球 的 数字 信息 资源 进入 到 一 个 前 所 未 有 的 快速 增 
长 期 。 据 IDC 统 计 ，2011 年 全 球 数据 量 已 达到 1.8ZB， 相 当 于 全 世界 人 均 产 生 200GB 以 上 
的 数据 ， 并 且 还 将 以 每 年 50% 的 速度 继续 增长 。 在 这 测 涌 来 袭 的 数据 浪潮 下 ， 社 会 各 个 
领域 也 将 开始 其 数据 化 进程 。 无 论 学 术 界 、 商 界 还 是 政府 ， 都 将 不 可 避免 地 进入 “大 数 
据 时 代 ”。 

作为 全 球 第 二 大 经 济 体 的 基础 能 源 支 撑 体 系 ， 中 国电 力 工 业 概 莫 能 外 。 近 几 年 ， 电 
力行 业 信息 化 也 得 到 了 长 足 的 发 展 ， 我 国电 力 企业 信息 化 起 源 于 20 世 纪 60 年 代 ， 从 初始 电 
力 生 产 自动 化 到 80 年 代 以 财务 电 算 化 为 代表 的 管理 信息 化 建设 ， 再 到 近年 大 规模 的 企业 信 
息 化 建设 ， 特 别 伴随 着 下 一 代 智能 化 电网 的 全 面 建设 ， 以 物 联 网 和 云 计算 为 代表 的 新 一 代 
IT 技 术 在 电力 行业 中 的 广泛 应 用 ， 电 力 数 据 资源 开始 急剧 增长 并 形成 了 一 定 的 规模 。 从 长 
远 来 看 ， 作 为 中 国 经 济 社会 发 展 的 “晴雨 表 ”， 电 力 数 据 以 其 与 经 济 发 展 紧密 而 广泛 的 联 
系 ， 将 会 呈现 出 无 与 伦比 的 正 外 部 性 ， 对 我 国 经 济 社会 发 展 以 至 人 类 社会 进步 也 将 形成 更 
为 强大 的 推动 力 。 

据 统计 ， 截 至 2013 年 底 ， 国 家 电网 建成 世界 最 大 电能 计量 自动 化 系统 ， 累 计 安 装 智能 
电能 表 1.82 亿 只 ， 实 现 采 集 1.91 亿 户 ， 采 和 集 覆盖 率 56%， 自 动 抄 表 核 算 率 超过 97%。 智 能 
电网 可 以 产生 巨大 的 数据 量 。 比 如 国 网 信 通 在 北京 5 个 小 区 ，353 个 采集 点 ， 采 集 1.2 万 个 
参数 ， 包 括 频 率 、 电 压 、 电 流 等 ，15 分 钟 采集 一 次 ， 一 天 就 能 产生 34GB 数 据 。 


3.5.1 电力 大 数据 的 概念 


电力 大 数据 是 大 数据 理念 、 技 术 和 方法 在 电力 行业 的 实践 。 电 力 大 数据 涉及 发 电 、 输 
电 、 变 电 、 配 电 、 用 电 、 调 度 各 环节 ， 是 跨 单 位 、 跨 专业 、 跨 业务 的 数据 分 析 与 挖掘 ， 以 
及 数据 可 视 化 。 电 力 大 数据 由 结构 化 数据 和 非 结 构 化 数据 构成 ， 随 着 智能 电网 建设 和 物 联 
网 的 应 用 ， 非 结构 化 数据 呈现 出 快速 增长 的 势头 ， 其 数量 将 大 大 超过 结构 化 数据 。 


3.5.2 ”电力 大 数据 的 前 景 


在 电力 行业 ， 坚 强 智能 电网 的 迅速 发 展 使 信息 通信 技术 正 以 前 所 未 有 的 广度 、 深 度 
与 电网 生产 、 企 业 管 理 快速 融合 ， 信 息 通信 系统 已 经 成 为 智能 电网 的 “中 枢 神经 ”， 支 撑 
新 一 代 电网 的 生产 和 管理 发 展 。 当 前 ， 电 网 业务 数据 大 致 分 为 3 类 : 一 是 电力 企业 生产 数 
据 ， 如 发 电量 、 电 压 稳 定性 等 方面 的 数据 ; 二 是 电力 企业 运营 数据 ， 如 交易 电价 、 售 电 
量 、 用 电 客 户 等 方面 的 数据 ;三 是 电力 企业 管理 数据 ， 如 ERP、 一 体 化 平台 、 协 同 办 公 等 
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方面 的 数据 。 如 能 充分 利用 这 些 基 于 电网 实际 的 数据 ， 对 其 进行 深入 分 析 ， 便 可 以 提供 大 
量 的 高 附加 值 服务 。 这 些 增 值 服务 将 有 利于 电网 安全 检测 与 控制 (包括 大 灾难 预警 与 处 
理 、 供 电 与 电力 调度 决策 支持 和 更 准确 的 用 电量 预测 ) ， 客 户 用 电 行 为 分 析 与 客户 细 分 ， 
电力 企业 精细 化 运营 管理 等 ， 实 现 更 科学 的 需求 侧 管理 。 


3.5.3 ”电力 大 数据 技术 


电力 大 数据 技术 需 满 足 电力 数据 飞速 增长 的 需要 ， 满 足 各 专业 工作 的 需要 ， 满 足 提高 
电力 工业 发 展 的 需要 ， 服 务 于 经 济 发 展 的 需要 。 电 力 大 数据 技术 包括 高 性 能 计算 、 数 据 挖 
据 、 统 计 分 析 、 数 据 可 视 化 等 。 

(1) 高 性 能 计算 

通过 Hadoop 分 布 式 计算 技术 采用 MapReduce 模 型 建立 分 布 式 计算 集群 或 者 Yonghong 
Z-Suite 等 高 性 能 工具 ， 对 电力 大 数据 进行 分 布 式 计算 和 处 理 。 

(2) 数据 挖掘 

数据 挖掘 技术 是 通过 分 析 大 量 数据 ， 从 中 寻找 其 规律 的 技术 ， 主 要 有 数据 准备 、 规 律 
寻找 和 规律 表示 3 个 步 又。 数据 准备 是 从 相关 的 数据 源 中 选取 所 需 的 数据 并 整合 成 用 于 数 
据 挖 据 的 数据 集 ， 规律 寻找 是 用 某 种 方法 将 数据 集 所 含 的 规律 找 出 来 ， 规 律 表 示 是 尽 可 能 
以 用 户 可 理解 的 方式 〈 如 可 视 化 ) 将 找 出 的 规律 表示 出 来 。 

数据 挖掘 的 常用 方法 有 关联 分 析 、 聚 类 分 析 、 分 类 分 析 、 异 常 分 析 、 特 异 群 组 分 析 和 
演变 分 析 等 。 

(3) 统计 分 析 

统计 分 析 ， 常 指 对 收集 到 的 有 关 数 据 资料 进行 整理 归 类 并 进行 解释 的 过 程 。 统 计 分 析 
可 分 为 描述 统计 和 推断 统计 : 

@ 描述 统计 是 研究 数据 收集 、 处 理 、 汇 总 、 图 表 描 述 、 概 括 与 分 析 等 统计 方法 ， 内 

容 有 收集 数据 、 整 理 数据 、 展 示 数 据 、 描 述 性 分 析 。 
@ 推断 统计 是 研究 如 何 利用 样本 数据 来 推断 总 体 特征 的 统计 学 方法 、 包 含 参 数 估 
计 、 假 设 检 验 。 

(4) 数据 可 视 化 

数据 可 视 化 主 则 在 于 借助 图 形 化 手段 ， 清 晰 有 效 地 传达 与 沟通 信息 ， 便 于 相关 者 对 
数据 的 理解 和 认识 。 数 据 可 视 化 与 信息 图 形 、 信 息 可 视 化 、 科 学 可 视 化 以 及 统计 图 形 密 
切 相 关 。 

智能 电网 中 数据 量 最 大 的 应 属 电力 设备 状态 监测 数据 。 状 态 监测 数据 不 仅 包括 在 线 的 
状态 监测 数据 (时 序数 据 和 视频 ) ， 还 包括 设备 的 基本 信息 、 实 验 数 据 、 缺 陷 记 录 等 ， 数 
据 量 极 大 ， 可 靠 性 要 求 高 ， 实 时 性 要 求 比 企业 管理 数据 要 高 。 

智能 电网 的 基础 设施 规模 庞大 ， 数 量 众多 且 分 布 在 不 同 地 点 ， 数 据 质量 较 低 ， 数 据 
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管控 能 力 不 强 。 在 大 数据 时 代 ， 数 据 质量 的 高 低 、 数 据 管控 能 力 的 强 弱 直接 影响 了 数据 分 
析 的 准确 性 和 实时 性 。 目 前 ， 电 力行 业 数 据 在 可 获取 的 颗粒 程度 ， 数 据 获取 的 及 时 性 、 完 
整 性 、 一 致 性 等 方面 的 表现 均 不 尽 人 意 ， 数 据 源 的 唯一 性 、 及 时 性 和 准确 性 急需 提升 ， 部 
分 数据 尚 需 手 动 输入 ， 采 集 效 率 和 准确 度 还 有 所 从 缺 ， 行 业 中 企业 缺乏 完整 的 数据 管控 策 
略 、 组 织 以 及 管控 流程 。 数 据 共 享 不 畅 ， 数 据 集成 程度 不 够 。 大 数据 技术 的 本 质 是 从 关联 
复杂 的 数据 中 挖掘 知识 ， 提 升 数据 价值 ， 单 一 业务 、 类 型 的 数据 即使 体 量 再 大 ， 缺 乏 共 享 
集成 ， 其 价值 也 会 大 打折 扣 。 目 前 电力 行业 缺乏 行业 层面 的 数据 模型 定义 与 主 数据 管理 ， 
各 单位 数据 口径 不 一 致 。 行 业 中 存在 较为 严重 的 数据 壁垒 ， 业 务 链条 间 也 尚未 实现 充分 的 
数据 共享 ， 数 据 重复 存储 且 不 一 致 的 现象 较为 突出 。 

电力 大 数据 由 于 涉及 众多 电力 用 户 的 隐私 ， 对 信息 安全 也 提出 了 更 高 的 要 求 。 电 力 企 
业 地 域 覆 盖 范 围 极 广 ， 各 单位 防护 体系 建设 不 平衡 ， 信 息 安全 水 平 不 一 致 ， 特 别 偏远 地 区 
单位 防护 体系 尚未 全 面 建立 ， 安 全 性 有 待 提高 。 行 业 中 企业 的 安全 防护 手段 和 关键 防护 措 
施 也 需要 进一步 加 强 ， 从 目前 的 被 动 防御 向 多 层次 、 主 动 防御 转变 。 

电力 数据 储存 时 间 要 求 以 及 海量 电力 数据 的 爆发 式 增长 对 IT 基础 设施 提出 了 更 高 的 要 
求 。 目 前 电力 企业 虽 大 多 已 建成 一 体 化 企业 级 信息 集成 平台 ， 能 够 满足 日 常 业 务 的 处 理 要 
求 ， 但 其 信息 网 络 传输 能 力 、 数 据 存储 能 力 、 数 据 处 理 能 力 、 数 据 交 换 能 力 、 数 据 展现 能 
力 以 及 数据 互动 能 力 都 无 法 满足 电力 大 数据 的 要 求 ， 尚 需 进一步 加 强 。 

可 以 抽象 地 认为 ， 智 能 电网 就 是 “大 数据 ”这 个 概念 在 电力 行业 中 的 应 用 ， 就 是 通 
过 网 络 将 用 户 的 用 电 习 惯 等 信息 传 回 给 电网 企业 的 信息 中 心 ， 进 行 分 析 处 理 ， 并 向 电网 规 
划 、 建 设 、 服 务 等 提供 更 可 靠 的 依据 。 同 时 ， 对 于 风能 、 太 阳 能 等 具有 间歇 性 的 新 能 源 ， 
通过 “大 数据 ”分 析 进 行 有 效 调 节 ， 也 可 以 使 新 能 源 更 好 地 与 传统 的 水 火电 进行 互补 ， 更 
为 灵活 地 出 力 。 

我 们 将 采集 到 的 数据 信息 ， 建 立 电力 信息 大 数据 库 ， 整 合 系统 内 各 项 电力 数据 ， 分 析 
大 数据 的 内 在 联系 ， 通 过 云 计算 技术 ， 构 建 一 体 化 监控 系统 ， 优 化 电网 的 运行 方式 ， 达 到 
经 济 运 行 目 的 ， 快 速 查找 、 隔 高 故障 ， 缩 短 用 户 的 停电 时 间 ; 合理 控制 无 功 负荷 和 电压 水 
平 ， 改 善 供电 质量 ;深化 信息 综合 分 析 、 智 能 告警 、 一 键 式 控制 等 高 级 应 用 功能 ， 解 决 目 
前 存在 的 系统 功能 分 散 、 集 成 度 低 、 维 护 工作 量 大 等 问题 ， 提 升 电网 监控 系统 的 集成 化 和 
智能 化 水 平 。 

电力 大 数据 可 通过 根据 用 户 的 用 电量 、 分 时 电价 、 天 和 气 预报 以 及 建筑 物 里 的 供暖 特 
性 等 进行 综合 分 析 ， 确 定 最 优 运 行 和 负荷 控制 计划 ， 对 集中 负荷 及 部 分 工厂 用 电 负荷 进行 
监视 、 管 理 和 控制 ， 并 通过 合理 的 电价 结构 引导 用 户 转移 负荷 ， 平 坦 负 荷 曲线 。 并 且 通 过 
对 电力 系统 生产 运行 方式 的 优化 、 对 间歇 式 可 再 生 能 源 的 消 纳 以 及 对 全 社会 节能 减 排 观 念 
的 引导 ， 在 完成 同样 用 电 功 能 的 情况 下 减少 电量 消耗 和 电力 需求 ， 从 而 缓解 缺 电压 力 ， 降 
低 供电 成 本 和 用 电 成 本 ， 使 供电 和 用 电 双 方 得 到 实惠 ， 达 到 节约 能 源 和 保护 环境 的 长 远 目 
的 ， 推 动 中 国电 力 工业 由 高 耗 能 、 高 排放 、 低 效率 的 粗放 发 展 方式 向 低 耗 能 、 低 排放 、 高 


第 3 章 ”电网 大 数据 的 基本 概念 


效率 的 绿色 发 展 方式 转变 。 

智能 电网 离 我 们 日 常生 活 最 近 的 ， 可 能 就 是 智能 家 居 了 。 智 能 家 居 是 在 物 联网 影响 
之 下 物 联 化 的 体现 。 智 能 家 居 通 过 室内 电力 线 将 家 中 的 各 种 设备 〈 如 音 视 频 设备 、 照 明 系 
统 、 窗 帘 控 制 、 空 调控 制 、 安 防 系统 、 数 字 影 院 系统 、 网 络 家 电 以 及 三 表 抄 送 等 ) 连接 到 
一 起 ， 提 供 家 电 控制 、 防 盗 报 警 、 环 境 监测 、 暖 通 控制 等 功能 。 电 力 大 数据 通过 分 析 用 户 
用 电 设备 喜 好 、 用 电 时 长 、 用 电 周 期 等 信息 ， 帮 助 家 庭 与 外 部 保持 信息 交流 畅通 ， 优 化 设 
备 启动 时 间 、 运 转 功 率 等 ， 为 用 户 节约 用 电 资 金 。 

在 电动 汽车 智能 充电 系统 中 ， 电 力 大 数据 可 以 收集 汽车 的 电池 电量 、 汽 车 位 置 、 一 天 
中 的 时 间 以 及 附近 充电 站 的 可 用 插 槽 等 信息 ， 通 过 数学 模型 预测 ， 将 这 些 数据 与 电网 的 电 
能 消耗 及 历史 功率 使 用 模式 结合 起 来 ， 通 过 分 析 来 自 多 个 数据 源 的 巨大 实时 数据 流 和 历史 
数据 ， 能 够 确定 司机 为 汽车 电池 充电 的 最 佳 时 间 和 地 点 ， 并 提出 充电 站 的 最 佳 设置 点 ， 保 
证 所 有 充电 设备 都 能 被 有 效 利用 ， 降 低 闲 置 率 ， 方 便 人 们 的 智能 生活 。 

电力 大 数据 是 智慧 城市 的 基石 ， 紧 密 围绕 智能 电力 系统 的 发 展开 展 电力 大 数据 的 应 用 
实践 。 以 重 塑 电力 核心 价值 、 转 变 电 力 发 展 方式 为 主线 ， 在 宏观 层面 重建 以 人 为 本 的 核心 
价值 ， 在 中 观 层面 重建 以 科学 发 展 为 根本 的 核心 能 力 ， 在 微观 层面 重建 以 客户 需求 为 导向 
的 业务 流程 ， 实 现 电 力 工 业 更 安全 、 更 经 济 、 更 绿色 与 更 和 谐 的 发 展 。 

智能 电网 的 理念 是 通过 获取 如 何 用 电 、 怎 样 用 电 的 信息 ， 来 优化 电力 的 生产 、 分 配 
以 及 消耗 。 从 本 质 上 说 ， 智 能 电网 就 是 大 数据 在 电力 上 的 应 用 。 同 样 ， 智 慧 城市 的 互联 设 
备 ， 也 会 依靠 大 数据 来 确保 其 工作 的 有 效 性 。 对 电力 大 数据 的 探索 、 分 析 、 应 用 将 成 为 电 
力 企业 的 重要 任务 。 

每 个 人 都 是 数据 的 产生 者 、 拥 有 者 和 消费 者 。 有 人 已 经 预言 未 来 的 时 代 是 一 个 “大 
数据 ”的 时 代 ， 关 注 大 数据 的 人 越 来 越 多 ， 同 时 大 数据 的 出 现 与 发 展 推动 了 数据 采集 的 能 
力 ， 为 数据 库 的 建立 提供 了 有 力 支 撑 。 数 据 的 采集 处 理应 用 将 成 为 时 代 的 发 展 主题 。 
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大 数据 对 促进 供应 链 中 的 生产 环节 产生 了 前 所 未 有 的 巨大 影响 ， 每 个 企业 都 有 自己 的 
规划 和 自己 企业 在 运营 环节 的 管理 最 佳 实践 。 在 众多 的 运营 决策 改进 中 ， 大 数据 的 影响 
包括 产品 设计 、 质 量 控制 、 客 户 画 像 等 。 下 面 从 8 个 方面 介绍 大 数据 在 电力 企业 运营 中 
的 应 用 。 


1. 消费 者 需求 分 析 


很 多 企业 管理 者 都 意识 到 了 消费 者 再 也 不 是 营销 产品 的 被 动 接收 器 了 ， 通 过 大 数据 来 
了 解 并 设计 符合 消费 者 需求 的 产品 ， 可 能 是 所 有 企业 都 应 该 去 考虑 的 第 一 个 大 数据 的 生产 
应 用 场景 。 
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借助 大 数据 ， 我 们 对 采集 来 的 企业 内 部 数据 《内 源 数据 ) ， 例 如 销售 网 点 的 数据 、 消 
费 者 直接 反馈 等 ， 与 外 部 数据 〈 外 源 数据 ) ， 例 如 社交 媒体 的 评论 、 描 述 产品 用 途 的 传 感 
器 数据 等 ， 通 过 微观 细 分 、 情 感 分 析 、 消 费 者 行为 分 析 以 及 基于 位 置 的 营销 等 手段 ， 让 企 
业 “ 擦 亮 眼睛 ”， 摸 清 消费 者 的 需求 ， 彻 底 改 变 曾 经 那 种 “跟着 感觉 走 ”的 状态 ， 走 出 直 
觉 猜 测 消费 者 需求 的 局 面 。 

企业 由 此 迫切 需要 建立 利用 内 源 数据 以 及 外 源 数 据 的 机 制 ， 全 渠道 了 解 消费 者 的 需 
求 ， 使 用 多 重 分 析 法 ， 例 如 联合 分 析 法 ， 来 确定 消费 者 对 于 产品 某 种 特点 的 支付 意愿 ， 了 
解 使 产品 抢占 市 场 的 重要 产品 特征 ， 从 而 改善 产品 设计 ， 为 产品 提供 相应 的 改造 升级 的 明 
确 方 向 和 规格 参数 。 


2. 打通 生产 竖井 


竖井 有 两 层 含 义 。 首 先 它 是 信息 和 数据 的 孤岛 。 传 统 行业 经 历 了 过 去 20 年 的 信息 化 建 
设 ， 形 成 了 大 量 的 、 种 类 繁多 的 大 型 应 用 。 每 个 应 用 系统 都 有 自己 的 数据 ， 与 组 织 结构 的 
竖井 相辅相成 ， 逐 步 形 成 了 今天 看 到 的 信息 孤岛 。 

其 次 ， 紧 井 是 对 组 织 部 门 的 一 种 比喻 ， 这 种 组 织 部 门 有 自己 的 管理 团队 和 人 才 ， 但 
缺乏 与 其 他 组 织 单位 合作 或 交流 的 动机 与 需求 。 跨 越 竖井 是 当代 企业 营销 面临 的 重大 挑战 
之 一 。 重 塑 企业 架构 是 必由之路 ， 必 须 改 变 妨 碍 消费 者 体验 的 组 织 结构 ， 建 立 基于 消费 者 
意愿 的 组 织 结构 ， 以 影响 消费 者 与 品牌 打交道 的 方式 。 通 过 接触 其 他 文化 、 改 变 先前 的 设 
想 ， 并 且 去 除 联想 障碍 ， 来 实现 各 渠道 的 无 颖 体验 。 

大 数据 的 先进 架构 ， 例 如 大 数据 湖 ， 可 以 让 跨 部 门 、 跨 公司 、 跨 地 域 ， 甚 至 跨行 业 的 
相关 组 织 ， 在 共同 遵循 的 数据 治理 框架 下 ， 实 现 产品 设计 者 与 制造 工程 师 共享 数 据 ， 模 拟 
实验 以 测试 不 同 的 产品 设计 ， 部 件 与 相应 供应 商 的 选择 ， 并 计算 出 相关 的 成 本 ， 以 促进 产 
品 设计 、 测 试 ， 实 现 信息 与 情报 的 融通 。 


3. 产品 与 服务 的 设计 


产品 可 以 分 为 有 形 产 品 和 无 形 产品 。 生 产 型 企业 生产 的 多 为 有 形 产 品 ， 而 服务 型 企业 
生产 的 多 为 无 形 的 产品 。 无 论 有 形 、 无 形 还 是 把 产品 服务 化 的 企业 ， 其 最 终 的 目的 都 是 通 
过 服务 来 增加 利润 ， 并 且 在 同 质 化 竞争 中 体现 差异 性 。 

产品 设计 是 明确 企业 产品 性 质 与 特点 的 过 程 ， 这 个 过 程 复杂 且 代价 高 。 生 产 成 本 的 
80%6 左 右 是 受到 了 产品 设计 阶段 决策 的 影响 ， 因 此 ， 如 何 提升 产品 设计 的 决策 是 所 有 企业 
家 和 管理 者 的 共同 挑战 。 

我 们 在 设计 并 且 生 产 出 消费 者 需要 的 产品 的 过 程 中 发 现 ， 产 品 的 设 定 和 生产 要 素 与 流 
程 、 工 艺 、 市 场 ， 消 费 习 惯 ， 销 售 策略 ， 区 域 ， 气 候 等 都 有 千 丝 万 缕 的 关系 ， 数 字 化 能 够 
帮 我 们 把 这 个 轮廓 勾勒 出 来 。 利 用 大 数据 的 实时 数据 分 析 ， 将 数字 勾勒 出 来 的 消费 者 偏好 
转化 成 为 有 形 的 产品 特点 ， 利 用 数据 设计 产品 ， 来 实现 研发 与 运营 共享 数据 ， 共 同 参 与 产 


第 3 章 电网 大 数据 的 基本 概念 


品 设计 的 改进 和 调整 。 
4. 开放 式 的 融合 创新 


Web 2.0 自 出 现 到 广泛 流行 至 今 ， 深 远 地 影 响 了 用 户 使 用 互联 网 的 方式 。 互 联网 、 移 
动 通信 网 以 及 物 联网 是 当今 最 具 影响 力 的 3 个 全 球 性 网 络 ， 移 动 互 联网 恰恰 融合 了 前 两 者 
的 发 展 优势 ， 而 物 联网 传感器 数据 则 使 得 创新 型 售后 服务 成 为 可 能 。 现 在 ， 人 们 越 来 越 习 
惯 从 互联 网 上 获取 所 需 的 应 用 与 服务 。 

供应 商 、 消 费 者 、 第 三 方 机 构 等 与 此 同时 将 自己 的 数据 在 网 络 上 共享 与 保存 ， 不 仅仅 
会 通过 全 渠道 征求 消费 者 意见 ， 还 会 与 学 术 或 行业 研究 者 合作 开发 新 产品 ， 通 过 互联 网 平 
台 来 为 企业 创新 出 谋划 策 ， 与 其 合作 研发 产品 。Web 2.0 时 代 不 单单 提供 了 云 计 算 的 接 入 
模式 ， 也 为 云 计算 培养 了 用 户 习 惯 。 大 数据 为 生产 型 企业 提供 创新 服务 乃至 建立 新 型 商业 
模型 提供 了 历史 性 的 机 会 。 


S. 适应 性 库存 管理 


众所周知 ， 库 存 成 本 往往 占 了 产品 成 本 的 530%， 过 多 的 库存 会 造成 过 高 的 库存 管理 成 
本 。 与 此 同时 ， 库 存 的 多 少 似乎 永远 也 无 法 解决 商品 的 脱销 。 无 论 是 库存 量 还 是 脱销 量 ， 
企业 在 发 展 过 程 中 ， 都 希望 利用 信息 化 手段 ， 能 够 通过 实时 跟踪 货物 ， 采 集 数 据 ， 确 定 不 
同 地 区 在 不 同时 间 的 库存 水 平 ， 使 得 库存 水 平 具有 适应 性 。 

运用 大 数据 使 得 供应 与 需求 信号 紧密 联系 在 一 起 变 得 容易 实现 和 具有 可 操作 性 。 我 们 
可 以 把 销售 记录 、 销 售 网 点 数据 、 天 气 预报 、 季 节 性 销售 周期 、 区 域 库存 信息 等 不 同 纬度 
的 数据 融合 起 来 ， 形 成 实时 感应 需求 信号 ， 与 实时 货物 位 置 等 信息 能 关联 分 析 ， 匹 配 供求 
关系 。 产 生 的 精确 信息 可 以 反馈 到 生产 计划 、 库 存 水 平 与 订单 量 等 库存 计算 的 各 个 环节 ， 
使 企业 了 解 具体 地 区 的 库存 量 并 且 自 动 生成 订单 ， 从 “需求 感应 ”实现 “适应 性 的 库存 ” 
管理 ， 不 断 优化 库存 水 平 。 


6. 质量 管理 


早 在 20 世 纪 90 年 代 ， 大 量 的 企业 就 开始 通过 应 用 分 析 法 来 提高 产品 质量 和 生产 的 效 
率 ， 其 核心 是 实现 生产 与 服务 的 需求 相 匹 配 。 今 天 的 大 数据 分 析 手 段 也 是 如 出 一 禾 。 大 
数据 不 仅 能 够 使 生产 商 制造 产品 的 时 间 缩 短 20% 一 50%， 还 能 够 在 产品 批量 生产 前 通过 模 
拟 、 检 验 防止 产品 缺陷 ， 减 少 产品 开发 周期 过 程 中 不 必要 的 环节 。 

质量 管理 强调 产品 质量 要 符合 消费 者 预期 ， 这 个 预期 包括 预算 、 功 能 、 外 观 等 。 这 是 
大 数据 分 析 法 提升 质量 管理 环节 的 首要 收益 。 通 过 对 内 源 与 外 源 数据 的 实时 采集 和 分 析 ， 
企业 能 够 准确 了 解 消费 者 需求 以 及 购买 行为 ， 明 确 产品 特征 ， 运 用 高 级 分 析 法 准确 地 指导 
生产 、 运 输 与 采购 以 提升 产品 或 服务 的 质量 。 

大 数据 的 实时 性 与 实效 性 给 企业 的 生产 质量 管理 带 来 了 质 的 飞跃 。 传 统 质量 管理 主要 
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是 通过 静态 的 、 历 史 的 、 沉 淀 的 数据 ， 通 过 检查 表 、 散 点 图 、 控 制图 等 检测 手段 ， 来 发 现 
生产 过 程 的 质量 问题 。 大 数据 通过 物 联网 ， 通 过 在 产品 上 安装 传感器 、 标 签 等 手段 ， 实 时 
监测 采集 数据 ， 认 知 产品 性 能 ， 实 时 提高 质量 。 


7. 劳动 力 的 数字 化 


劳动 力 是 除了 产品 成 本 外 ， 企 业 最 重视 的 开支 ， 其 问题 的 复杂 程度 也 是 最 大 的 。 除 了 
员工 本 身 之 外 ， 有 很 大 一 部 分 问题 与 管理 水 平 低下 有 关 ， 管 理 者 不 应 只 强调 员工 的 问题 ， 
而 忽略 自身 和 机 制 的 问题 。 特 别 是 在 零售 、 分 销 、 加 工 等 劳动 密集 型 企业 ， 劳 动力 问题 尤 
为 突现 。 

任何 一 个 组 织 ， 应 该 通过 有 效 的 科技 信息 手段 ， 快 速 建立 认 知 、 基 于 组 织 的 行为 和 文 
化 标准 ， 提 高 一 致 性 和 从 雇佣 的 质量 、 继 任 计划 ， 以 及 员工 的 成 长 进程 的 全 人 才 生 命 周 期 
管理 。 通 过 大 数据 方式 ， 找 到 进行 员工 调度 的 最 佳 模式 ， 缩 短 管理 时 间 ， 实 现 技能 与 岗位 
的 周期 匹配 ， 劳 动力 效率 最 优化 。 让 劳动 力 的 管理 成 为 可 预测 的 ， 且 基于 分 析 学 的 方法 来 
实现 人 才 资 源 的 管理 。 这 样 的 方法 一 是 客观 ， 二 是 从 大 数据 统计 的 角度 将 员工 的 绩效 指标 
和 行为 特征 连接 起 来 ， 为 每 个 企业 创造 了 一 个 “最 适合 ”的 劳动 力 模式 。 

大 数据 在 帮助 企业 生产 实现 需求 预测 的 精确 性 ， 对 提高 员工 调度 效率 起 着 非常 重要 的 
作用 ， 这 又 进一步 说 明了 在 销售 环节 获取 的 数据 是 如 何 影响 生产 环节 决策 的 。 由 此 让 组 织 
可 提供 卓越 的 客户 体验 、 更 高 的 生产 率 、 更 高 的 销售 增长 ， 以 及 更 广泛 的 利润 空间 。 这 一 
切 都 源 于 100% 数 据 驱 动 的 大 数据 应 用 ， 尽 可 能 避免 了 主观 判断 和 推测 。 


8. 资产 智能 管理 


物 联网 (IoT) 的 发 展 以 及 感应 技术 的 兴起 ， 为 我 们 开创 了 一 个 能 紧密 连接 物理 空间 
许多 事物 的 信息 网 络 。 随 着 大 数据 分 析 技 术 的 发 展 ， 特 别 是 预测 分 析 的 发 展 ， 结 合 互联 网 
云 化 的 广泛 应 用 ， 物 理 空间 与 虚拟 信息 空间 的 形成 与 同步 ， 离 不 开设 备 的 自我 意识 和 自主 
维修 机 械 系 统 。 

智能 设备 的 未 来 ， 一 定 是 能 够 自主 评估 健康 状况 和 退化 情况 并 主动 预防 潜在 性 能 故 
障 ， 并 且 做 出 维修 决策 ， 以 避免 潜在 故障 的 系统 。 要 实现 健康 条 件 评估 ， 就 需要 利用 数据 
驱动 算法 分 析 从 机 械 设 备 及 其 周边 环境 中 获取 的 数据 。 实 时 设备 条 件 信息 可 反馈 至 机 械 控 
制 器 以 实现 自 适应 控制 ， 同 时 信息 也 会 反馈 至 设备 管理 人 员 方 便 及 时 维修 。 操 作 员 可 根据 
每 台 设 备 的 健康 条 件 平衡 和 调节 每 台 设 备 工作 量 及 工作 压力 ， 最 大 限度 地 优化 生产 和 设备 
性 能 ， 实 现 主动 检修 计划 的 智能 决策 。 

物 联网 是 互联 网 的 应 用 拓展 ， 与 其 说 物 联网 是 网 络 ， 不 如 说 物 联网 是 业务 和 应 用 。 普 
遍 认为 数据 的 应 用 创新 是 物 联 网 发 展 的 核心 ， 以 用 户 体验 为 核心 是 物 联网 发 展 的 灵魂 。 数 
据 成 为 新 “工业 ”革命 的 原材料 ， 无 论 是 传统 企业 还 是 全 球 的 科技 大 佬 ， 在 物 联网 时 代 ， 
都 在 千方百计 获得 用 户 的 数据 或 者 信息 ， 以 更 好 地 服务 于 用 户 。 
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数据 之 于 本 世纪 ， 就 像 石 油 之 于 上 世纪 : 它 是 发 展 和 改变 的 动力 。 数 据 已 经 产生 了 新 
的 基础 设施 、 商 业 领 域 、 人 垄断 机 构 、 政 治理 论 ， 最 关键 的 是 ， 还 产生 了 一 种 新 经 济 。 数 据 
信息 不 像 过 去 的 其 他 资源 ， 它 采用 不 同 的 方式 提取 、 加 工 、 估 值 和 交易 。 它 改变 了 市 场 规 
则 ， 要 求 使 用 新 的 管理 方式 。 

全 球 数据 正在 以 指数 级 的 方式 增长 ， 传 统 的 能 源 行业 同样 面临 着 激增 的 数据 量 ， 这 些 
数据 来 自 能 源 企业 生产 、 管 理 的 各 个 环节 。 信 息 技术 在 能 源 企 业 生产 、 经 营 和 管理 中 发 挥 
着 越 来 越 重 要 的 作用 ， 信 息 化 与 经 济 全 球 化 相互 交织 ， 推 动 着 能 源 产业 的 分 工 深化 和 经 济 
结构 调整 ， 重 塑 着 世界 经 济 政治 竞争 格局 。 信 息 化 将 成 为 提升 企业 生产 经 营 管理 水 平 、 提 
高 国际 竞争 能 力 的 重要 手段 和 战略 举措 。 

智慧 能 源 是 近年 来 兴起 的 一 个 比较 新 的 概念 。2009 年 包括 IBM 专 家 队伍 在 内 的 国际 学 
术 界 提出 ， 互 联 互 通 的 科技 将 改变 整个 人 类 世界 的 运行 方式 ， 涉 及 数 十 亿 人 的 工作 和 生 
活 。 因 此 学 术 界 开 始 提出 要 “构建 一 个 更 有 智慧 的 地 球 ”， 提 出 了 智慧 机 场 、 智 慧 银 行 、 
智慧 铁路 、 智 慧 城市 、 智 慧 电 力 、 智 慧 电 网 、 智 慧 能 源 等 理念 。 

智慧 能 源 不 能 简单 地 等 同 于 智慧 能 源 技术 ， 还 应 涵盖 智慧 能 源 制 度 。 技 术 是 智慧 能 源 
发 展 的 根本 动力 ， 制 度 则 是 智慧 能 源 发 展 的 根本 保障 ， 两 者 都 不 可 或 缺 。 

智慧 能 源 与 智能 能 源 、 新 型 能 源 、 可 再 生 能 源 、 清 洁 能 源 等 概念 既 有 联系 ， 也 存在 
重大 差别 。 智 慧 能 源 是 指 将 能 效 ， 即 数 与 智能 技术 相 结 合 ， 强 调 具体 的 技术 及 其 物质 或 物 
理 属 性 ， 还 没有 延伸 到 观念 、 制 度 等 非 物 质 或 非 物理 的 范畴 。 与 “构建 一 个 更 有 智慧 的 地 
球 ” 这 一 概念 提出 的 同时 ， 学 术 界 提出 了 “ 物 联 网 ”概念 ， 即 通过 超级 计算 机 和 云 计算 将 
万 物 连接 整合 起 来 ， 使 人 类 能 以 更 加 精细 和 动态 的 方式 管理 生产 和 生活 ， 从 而 达到 全 球 的 
“智慧 ”状态 ， 最 终 实现 “互联 网 + 物 联网 = 智慧 的 地 球 ” 愿 景 。 同 年 ， 一 些 中 国 专家 学 者 
发 表 了 “ 当 能 源 充满 智慧 ” “智慧 能 源 与 人 类 文明 的 进步 ”等 论著 ， 引 发 业界 对 智慧 能 
源 的 关注 。 

智慧 能 源 是 信息 技术 向 能 源 系 统 的 深度 融合 ， 这 必 将 引发 能 源 技 术 、 运 营 和 市 场 机 制 
的 系统 性 变革 和 创新 。 智 慧 能 源 的 目标 ， 是 依靠 信息 优势 ， 促 进 能 源 安全 、 高 效 、 低 碳 发 
展 ， 未 来 必 将 成 为 能 源 系统 的 大 脑 和 神经 网 络 。 

智慧 能 源 发 展 的 最 关键 问题 是 建设 、 运 营 成 本 较 高 ， 缺 乏 明显 的 经 济 效益 。 虽 然 中 国 
政府 曾经 出 台 过 多 项 鼓励 能 源 信息 化 发 展 的 政策 ， 取 得 了 很 好 的 引领 和 示范 作用 ， 但 智慧 
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能 源 产 业 至 今 仍 未 “断奶 ”， 产 业 化 路 径 尚 不 清晰 。 

从 产业 经 济 学 的 角度 ， 智 慧 能 源 的 产业 化 ， 需 要 在 市 场 经 济 条 件 下 ， 以 能 源 和 用 能 
行业 需求 为 导向 ， 以 创造 经 济 和 环境 效益 为 目标 ， 依 靠 信息 技术 实现 专业 化 服务 和 高 质量 
管理 ， 形 成 系列 化 、 品 牌 化 的 经 营 方式 和 组 织 形式 。 这 里 包含 3 个 要 点 : 一 是 市 场 经 济 条 
件 ， 即 摆脱 目前 依靠 政府 财政 立项 或 补贴 的 模式 ， 实 体 智慧 能 源 的 可 持续 投资 和 运营 ， 二 
是 要 对 接 实 际 需 求 ， 让 用 户 有 积极 性 ， 如 果 将 固化 的 互联 网 模式 和 经 验 套 用 在 能 源 领域 ， 
是 走 不 通 的 ; 三 是 要 明确 产品 和 服务 形式 ， 以 及 行 得 通 、 可 复制 的 商业 模式 。 上 述 3 点 
聚焦 在 一 点 ， 即 智慧 能 源 要 体现 出 实际 价值 和 效益 ， 实 现 可 持续 的 投资 、 建 设 、 运 营 和 
推广 。 

目前 各 界 对 智慧 能 源 的 收益 来 源 有 多 种 预期 ， 包 括 合同 能 源 、 环 境 管理 、 政 策 采 购 ， 
以 及 大 数据 分 析 和 金融 创新 等 。 但 从 价值 角度 漳 本 求 源 ， 智 慧 能 源 的 潜在 价值 主要 蕴含 
在 4 个 方面 。 

(1) 节约 能 源 成 本 。 通 过 智慧 能 源 在 能 源 系 统 的 广泛 应 用 ， 可 以 在 生产 、 转 化 、 传 
输 、 消 费 各 环节 节约 能 源 ， 降 低 使 用 成 本 。 一 方面 对 于 终端 用 户 ， 通 过 能 源 系 统 化 和 精细 
化 管理 实现 管理 节能 ， 还 可 以 开展 能 源 优化 控制 ， 并 通过 大 数据 分 析 为 节能 改造 提供 支 
撑 ， 以 达到 技术 节能 的 效果 。 另 一 方面 ， 对 于 上 游 的 各 类 能 源 生 产 和 传输 企业 ， 智 慧 能 源 
除了 实现 技术 和 管理 节能 外 ， 还 可 以 通过 匹配 能 源 供 需 和 影响 需求 侧 负荷 来 提高 发 电 效 
率 ， 并 更 多 地 接 入 可 再 生 能 源 ， 从 而 有 效 实现 能 源 节约 。 

(2) 提升 能 源 资产 使 用 效率 。 智 慧 能 源 技 术 还 能 够 提升 能 源 设 备 特别 是 电网 设备 的 
使 用 率 ， 进 而 减少 重复 投资 。 具 体 而 言 ， 通 过 需求 侧 响应 等 手段 ， 可 以 提高 新 能 源 发 电 并 
网 的 比例 ， 减 少 弃 风 、 弃 光 等 情况 ， 缩 短 分布 式 能 源 投资 回报 期 ， 同 时 通过 精细 化 管理 ， 
提升 电网 的 运行 效率 ， 减 少 网 络 重复 建设 和 投资 ， 减 少 调 峰 备 用 机 组 和 容量 备用 。 对 于 燃 
气 和 热力 管 网 也 有 类 似 效果 。 

(3) 保护 生态 环境 。 智 慧 能 源 主要 通过 两 个 途径 保护 生态 环境 。 一 是 通过 对 污染 物 
和 能 源 的 实时 信息 化 监测 管理 。 通 过 安装 在 污染 源 排放 端 (如 烟 向 、 汽 车 尾气 管 、 污 水 
管 ) ， 以 及 能 源 使 用 端的 监测 传 感 设备 ， 有 效 监管 偷 排 、 超 排 ， 避 免 伪 造 自 改 环境 监测 数 
据 。 二 是 通过 节约 能 源 和 促进 非 化 石 能 源 的 广泛 应 用 ， 减 少 SO,、PM2.5 等 污染 物 排放 ， 
并 减 排 温室 气体 减缓 全 球 气 候 变 化 。 

(4) 提升 用 能 体验 。 远 程 化 、 便 捷 化、 实时 化 、 自 动 化 可 能 是 未 来 能 源 使 用 的 大 趋 
势 。 对 居民 和 商业 用 户 而 言 ， 智 能 家 居 和 智慧 楼 宇 可 能 带 来 生活 和 经 营 方式 的 变革 : 不 必 
花费 很 多 精力 ， 各 类 电器 设备 就 可 以 自动 且 精 准 运行 ， 例 如 精确 控制 室内 温度 、 湿 度 和 亮 
度 ; 此 外 还 包括 充电 设施 的 便捷 和 共享 等 。 对 能 源 和 工业 企业 ， 随 着 日 趋 精细 化 和 智慧 
化 ， 能 源 生 产 和 运行 将 不 再 是 傻 大 黑 粗 的 体力 劳动 ， 劳 动 强度 和 和 舒适 度 将 大 大 改善 。 

表 4.1 所 示 为 智慧 能 源 创造 的 四 大 效益 分 析 表 。 
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表 4.1 智慧 能 源 创造 的 四 大 效益 分 析 
体现 途 和 资方 | 受益 方 | 价值 体现 机 抽 其 他 问题 
能 源 生产 和 传输 - 很 多 企业 已 经 实现 ， 但 路 
侧 节能 和 企业 进展 有 限 
终端 节能 终端 用 户 | 企业 经 营 管理 “| 全 乏 成 功 目 可 复制 的 案例 
需求 侧 管理， 实现 需求 侧 管理 和 相应 仍 处 于 
供应 侧 能 效 提升 目前 暂 无 ， 未 来 | 试点 阶段 ， 效 果 待 评估 ; 
为 峰 谷 电价 等 “| 此 外 ， 和 需要 大 范围 应 用 才 
能 有 价值 
发 电 企业 和 电网 企业 价值 


能 源 企业 
政府 购买 服务 | 目前 环境 与 能 源 监测 尚未 
| 


目前 尚 无 ， 未 来 
企业 全 社会 | 为 碳 交 易 、 污 染 | 减 排 量 缺乏 量化 评估 方法 
税 等 


远程 化 、 便 捷 个 人 舒适 提升 ”| 智慧 能 源 技术 水 平 还 有 待 
化 、 实 时 化 、 自 提高 ， 效 用 提升 价值 难以 
动 化 企业 经 总管 理 | 量化， 缺乏 商 业 模式 


本 章 将 总 结 近年 来 全 球 范围 内 各 国家 的 智慧 能 源 大 数据 政策 动向 。 


4.1 美洲 地 区 智能 能 源 发 展 动向 


4.1.1 美国 大 数据 领域 动向 


美国 政府 对 大 数据 的 政策 支持 、 产 业 推动 和 监管 规范 走 在 世界 前 列 。 美 国 是 对 大 数据 
理论 最 早 研究 、 最 早 商 业 应 用 ， 也 是 政府 最 早 提出 大 数据 战略 的 国家 ， 这 一 切 都 黄 定 了 美 
国 在 大 数据 领域 居 全 球 领导 者 的 地 位 。 美 国 在 推进 大 数据 上 已 经 形成 了 从 发 展 战略 ， 法 律 
框架 到 行动 计划 的 完整 布局 ， 将 大 数据 视 为 强化 其 竞争 力 的 关键 因素 之 一 ， 把 大 数据 研究 
和 生产 计划 提高 到 国家 战略 层面 ， 并 大 力 发 展 相 关 信息 网 络 安全 项 目 。 

2009 年 1 月 21 日 ， 前 任 美国 总 统 奥巴马 宣誓 就 职 后 的 第 一 个 工作 日 就 签发 了 “开放 政 
府 ” 备 忘 录 ， 指 导 新 一 届 行 政 当局 从 开放 政府 数据 源 、 建 设 开放 型 政府 入 手 ， 以 数字 革命 
带动 的 政府 变革 。“ 开 放 政 府 ” 的 目的 简洁 明了 : 改进 公众 服务 ， 提 升 公众 信任 ， 更 有 效 
地 管理 公共 资源 和 增进 政府 责任 。 互 联网 时 代 的 开放 型 政府 ， 首 先 必须 开放 政府 数据 。 同 
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年 5 月 20 日 ， 美 国政 府 开 放 数 据 的 平台 Data.gov 上 线 ， 第 一 批 47 个 政府 数据 源 向 社会 开放 。 
该 网 站 的 建立 增加 了 政府 资料 的 透明 度 。 

该 网 站 依照 原始 数据 、 地 理 数据 和 数据 工具 3 个 门类 ， 截 至 2012 年 11 月 ，Data.gov 共 
开放 出 了 超过 40 万 项 原始 数据 和 地 理 数据 ， 涵 盖 大 约 50 个 细 分 门类 。 为 方便 公众 使 用 和 分 
析 ，Data.gov 平 台 还 加 入 了 数据 的 分 级 评定 、 高 级 搜索 、 用 户 交 流 以 及 和 社交 网 站 互动 等 
新 功能 ， 汇 集 了 1264 个 应 用 程序 和 软件 工具 、103 个 手机 应 用 插件 。 通 过 开放 API 接 口 ， 
Data.gov 使 该 领域 的 开发 者 能 够 利用 那些 政府 采集 但 未 经 梳理 的 各 类 信息 、 开 发 应 用 来 提 
供 公共 服务 或 者 进行 便利 。2009 年 12 月 8 日 ， 奥 巴 马 签发 了 “开放 政府 数据 ”行政 令 ， 要 
求 在 45 天 内 所 有 政府 部 门 无 一 例外 地 必须 向 社会 开放 3 个 有 价值 的 数据 源 。2010 年 5 月 经 过 
12 个 月 的 运行 ，Data.gov 升 级 到 2.0， 政 府 开放 的 数据 源 达到 2.5 万 个 。2011 年 9 月 20 日 白宫 
正式 启动 “开放 政府 国家 行动 计划 1.0”， 首 批 26 个 开放 政府 项 目 向 社会 公开 。2012 年 3 月 
29 日 ， 在 公开 政府 数据 源 的 22 个 月 后 ， 启 动 联邦 政府 大 数据 行动 计划 ， 宣 布 了 由 政府 资助 
的 分 布 在 13 个 部 委 的 84 个 大 数据 项 目 ， 其 中 多 数 项 目 基于 不 同 部 门 的 开放 数据 源 ， 联 合 民 
间 企 业 协 同 展 开 ， 如 癌症 和 心血 管 疾病 研究 。2013 年 5 月 9 日 ， 总 统 签署 开放 数据 政策 。 
2013 年 12 月 5 日 “开放 政府 国家 行动 计划 ”进入 2.0， 又 添加 了 23 个 政府 开放 项 目 。 

在 逐步 扩大 开放 政府 数据 源 ， 启 动 开放 政府 项 目 和 部 署 政府 主导 的 大 数据 项 目 后 ， 
2014 年 1 月 17 日 ， 美 国 总 统 指 定 白宫 法 律 总 顾问 波 德 斯 塔 ， 由 他 领导 行政 当局 与 总 统 科 技 
顾问 委员 会 合作 ， 邀 请 科技 专家 、 隐 私法 专家 、 企 业界 、 学 术 界 和 政府 领导 ， 综 合 评估 
“大 数据 ”和 公民 隐私 交集 后 已 经 带 来 和 将 会 带 来 的 新 问题 。 作 为 综合 研究 的 一 部 分 ， 总 
统 要 求 超前 思考 “大 数据 ”对 人 类 社会 的 影响 ， 重 点 研究 现 有 技术 和 未 来 技术 会 对 现行 法 
律 带 来 哪些 挑战 ， 哪 些 法 律 和 政策 需要 修订 或 制定 以 适应 变化 。 评 估 探 讨 “ 大 数据 ”会 从 
哪些 方面 影响 我 们 的 生活 方式 工作 方式 ， 影 响 和 改变 政府 与 公民 之 间 的 关系 。 总 统 希 望 得 
到 建议 ， 如 何在 政府 和 民企 之 间 合 作 推 动 创 新 ， 在 最 大 限度 地 降低 公民 隐私 风险 的 前 提 
下 ， 保 证 信息 的 自由 流动 ， 创 造 更 多 的 商业 机 会 和 就 业 机 会 。 

2014 年 5 月 美国 发 布 《 大 数据 : 把 握 机 遇 ， 守 护 价 值 》 白 皮 书 ， 对 美国 大 数据 应 用 与 
管理 的 现状 、 政 策 框架 和 改进 建议 进行 了 集中 冰 述 。 该 白皮书 表示 ， 在 大 数据 发 挥 正面 价 
值 的 同时 ， 应 该 警惕 大 数据 应 用 对 隐私 、 公 平等 长 远 价值 带 来 的 负面 影响 。 从 《白皮书 》 
所 代表 的 价值 判断 来 看 ， 美 国政 府 更 为 看 重大 数据 为 经 济 社会 发 展 所 带 来 的 创新 动力 ， 对 
于 可 能 与 隐私 权 产 生 的 冲突 ， 则 以 解决 问题 的 态度 来 处 理 。 报 告 最 后 提出 六 点 建议 ， 推进 
消费 者 隐私 法 案 ; 通过 全 国 数据 泄露 立法 ， 将 隐私 保护 对 象 扩展 到 非 美国 公 民 ; 对 在 校 学 
生 的 数据 采集 仅 应 用 于 教育 目的 ， 在 反 歧 视 方面 投入 更 多 专家 资源 ;修订 电子 通信 隐私 法 
案 。 大 数据 计划 中 涉及 信息 网 络 安 全 的 项 目 众多 。 美 国 国防 部 每 年 投入 2.5 亿 美元 资助 利 
用 海量 数据 的 新 方法 研究 ， 并 将 传 感 、 感 知 和 决策 支持 结合 在 一 起 ， 制 造 能 自己 运行 和 做 
出 决策 的 自治 系统 ， 为 军事 行动 提供 更 好 的 支持 。 美 国 国土 安全 部 正在 开展 “可 视 化 和 数 
据 分 析 卓 越 中 心 (CVADA) ”项 目 ， 通 过 对 大 规模 异 构 数 据 的 研究 ， 使 应 急救 援 人 员 能 
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够 解决 人 为 或 自然 灾害 、 恺 怖 主义 事件 、 网 络 威胁 等 方面 的 问题 。 美 国 国家 安全 局 正在 开 
展 VigilantNet 项 目 ， 开 发 保护 计算 机 网 络 的 数据 可 视 化 技术 ， 从 而 促进 和 测试 网 络 保护 位 
置 感知 能 力 。 投 资 近 20 亿 美元 在 犹他 州 建立 了 号 称 世界 最 大 的 数据 中 心 ， 进 行 多 个 监控 项 
目的 数据 采集 和 分 析 。 
表 4.2 所 示 为 美国 在 大 数据 领域 的 重要 事件 。 
表 4.2 ”美国 大 数据 领域 大 事 记 
大 事 记 

麦肯锡 公司 发 布 《大 数据 : 下 一 个 竞争 、 创 新 和 生产 力 的 前 沿 领域 》 报 告 ， 提 出 大 数据 
时 代 到 来 
EMC World 2011 在 拉 斯 维 加 斯 开幕 ， 主 题 为 “ 云 计算 适 逢 大 数据 ”， 参 会 者 超 10000 
人 ， 会议 着 重 介绍 了 云 计 算 和 大 数据 给 IT 带 来 的 变革 


Yahoo 于 2011 年 宣布 成 立 创立 Hadoop， 在 各 个 行业 大 数据 改革 热潮 中 被 广泛 使 用 ， 使 得 
Yahoo 公 司 迎 来 了 新 的 发 展 机 会 


微软 公司 宣布 推出 了 两 个 基于 Hadoop 的 大 数据 处 理 社区 技术 预览 版 连接 器 组 件 ， 一 个 用 


于 SQL Server， 另 一 个 用 于 SQL Server 并 行 数据 仓库 (PDW) 

美国 奥巴马 政府 宣布 推出 “大 数据 的 研究 和 发 展 计划 ”。 从 此 ， 大 数据 从 商业 行为 上 升 
到 国家 战略 层面 ， 开 始 得 到 各 国政 府 的 重视 

Splunk 以 每 股 17 美 元 的 价格 在 纳 斯 达 克 进 行 IPO 上 市 ， 融 资 2.3 亿 美元 。 这 是 全 球 范围 内 
首 家 上 市 的 大 数据 公司 

美国 相对 论 传媒 首席 执行 官 瑞安 。 卡 瓦 洛 夫 通过 网 络 “大 数据 ”分 析出 当红 明星 组 合 以 
及 观众 喜好 ， 标 志 着 影 业 引入 大 数据 技术 

美国 白宫 发 布 了 2014 年 全 球 “ 大 数据 ”白皮书 的 研究 报告 《大 数据 : 抓 住 机 遇 、 守 护 价 
值 》。 报 告 鼓励 使 用 数据 以 推动 社会 进步 


4.1.2 ”相关 政策 分 析 


1. 政策 支持 


“回顾 美国 历史 ， 技 术 与 隐私 法 都 处 于 不 断交 替 发 展 之 中 。 在 营造 创新 环境 、 促 进 经 
济 繁荣 的 同时 ， 美 国 一 直 在 全 球 范围 内 扮演 着 保护 个 人 隐私 的 领导 角色 。” (美国 白宫 大 
数据 白皮书 ) 在 美国 ， 数 据 收集 与 将 大 数据 造福 大 众 有 着 较 长 的 历史 。 美 国 的 人 口 普查 从 
来 没有 仅仅 进行 简单 的 人 数 计算 ， 而 是 收集 一 些 更 为 具体 的 以 公共 利益 为 目的 的 人 口 统 
计 信息 。 大 数据 真正 的 开始 ， 则 是 缘 于 奥巴马 总 统 上 人 台 。2009 年 开始 ， 奥 巴 马 政府 将 大 
量 资料 库 向 公众 开放 ， 并 且 将 许多 数据 公布 在 美国 政府 的 中 央 信 息 交换 库 
网 站 上 。 

奥巴马 政府 关于 公开 数据 的 举措 有 三 : 公开 数据 计划 、 我 的 大 数据 计划 和 大 数据 计划 。 


Data.gov 
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(1) 公开 数据 计划 。 根 据 2013 年 5 月 的 总 统 行政 令 ， 管 理 与 预算 办 公 室 以 及 科技 政策 
办 公 室 发 布 了 一 个 工作 框架 方案 ， 为 各 机 构 管理 运用 实时 更 新 的 信息 资源 提供 指导 ， 包 括 
对 保护 个 人 隐私 、 信 息 可 信 度 的 一 系列 要 求 。 政 府 机 构 根 据 开放 程度 已 将 信息 资产 划分 为 
三 类 ， 开 放 性 、 半 开放 性 和 非 开 放 性 ， 并 且 只 能 出 版 发 行 开放 性 密级 的 信息 。 

(2) 我 的 大 数据 计划 又 包括 4 个 部 分 。 蓝 纽扣 计划 允许 消费 者 安全 地 获取 他 们 的 健康 
信息 ， 使 得 他 们 可 以 更 好 地 管理 健康 与 经 济 状况 ， 并 与 信息 提供 者 交换 相关 信息 。 创 建 副 
本 计划 是 美国 国税 局 将 纳税 人 的 信息 数据 加 以 共享 ， 使 纳税 人 可 以 通过 它 获 得 他 们 最 近 3 
年 的 纳税 记录 。 个 人 纳税 者 可 以 借 此 下 载 过 去 的 纳税 申报 单 ， 这 使 得 居民 进行 抵押 、 学 生 
贷款 、 商 务 贷款 等 活动 时 填写 纳税 表 更 加 便捷 。 绿 纽扣 计划 是 2012 年 美国 政府 与 电力 行业 
合作 推出 的 计划 ， 为 家 庭 与 企业 提供 便捷 的 途径 来 获得 他 们 的 能 源 使 用 信息 ， 并 且 有 利于 
营造 良好 的 消费 者 环境 与 电子 化 模式 。 我 的 学 生 数 据 计划 是 由 教育 部 将 助学金 免费 申请 表 
与 联邦 助 学 情 况 的 一 些 信息 共享 ， 这 些 信 息 襄 括 借贷 、 补 助 金 、 注 册 与 超额 偿付 等 方面 的 
具体 事项 ， 使 得 学 生 与 资助 人 能 够 上 网 下 载 所 需 的 信息 资源 。 

(3) 大 数据 计划 : 数据 一 知识 一 行动 。 共 有 6 个 联邦 机 构 加 入 到 大 数据 的 研究 和 发 展 
计划 中 ， 超 过 2 亿美 元 的 科研 经 费 被 用 于 工具 与 技术 开发 以 推进 对 海量 数据 进行 获取 、 组 
织 与 整理 并 发 现 有 效 信息 的 相关 技术 进展 。 


2. 资金 支持 


美国 国防 部 先进 项 目 研 究 局 创建 了 一 个 关于 研究 出 版 物 与 公开 化 资源 软件 的 “开放 
目录 ”， 努 力 发 展 能 够 处 理 分 析 存 在 缺陷 的 、 不 完整 的 海量 数据 的 技术 。 国 家 卫生 研 
究 院 (National Institutes of Health，NIH) 也 拿 出 5000 万 美金 支持 开展 生物 领域 的 “ 数 
据 一 知识 一 行动 ”计划 。 国 家 科学 基金 会 (National Science Foundation，NSF ) 赞助 的 
大 数据 研究 计划 ， 为 人 类 基因 组 研究 节省 了 40% 的 经 费 。 能 源 部 也 宣布 向 可 扩展 数据 
的 管理 分 析 及 其 可 视 化 协会 (Scalable Data Management，Analysis，and Visualization 
Institute) 提供 一 项 2500 万 美元 的 赞助 ， 这 家 机 构 所 处 理 的 气候 数据 信息 使 得 季节 性 台 
风 预 报 的 准确 性 提高 了 25% 以 上 。 还 有 许多 针对 大 数据 的 研究 支持 计划 ， 比 如 奥巴马 
总 统 2013 年 4 月 发 布 的 创新 神经 技术 脑 (BRAIN) 计划 。 作 为 政府 大 数据 计划 的 组 成 部 
分 ， 国 家 科学 基金 会 为 大 数据 中 出 现 的 社会 、 道 德 与 公共 政策 问题 的 相关 研究 也 提供 了 
特别 的 资金 支持 。 


3. 数据 隐私 保护 


美国 在 数据 隐私 保护 领域 的 法 规 相 对 完善 ， 这 缘 于 美国 几 十 年 以 来 对 个 人 隐私 的 重 
视 。 具 体 到 各 个 行业 ， 美 国都 有 专门 的 隐私 保护 规定 ， 例 如 能 源 、 消 费 、 医 疗 健康 、 国 家 
安全 等 ， 如 表 4.3 所 示 。 
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限制 领域 


表 4.3 ”隐私 保护 法 规 
相关 内 容 


个 人 控制 : 消费 者 可 以 对 企业 从 自己 这 里 收集 什么 信息 ， 以 及 如 
何 使 用 这 些 信息 进行 控制 

透明 : 消费 者 有 权 简单 易 懂 地 获取 有 关 隐 私 权 与 安全 实践 的 信息 
相关 环境 : 消费 者 有 权 得 知 企业 如 何在 消费 者 提供 信息 的 相关 环 

消费 者 隐私 权 法 案 | 境 方 面 进 行 收集 、 使 用 与 披露 用 户 数 据 

安全 : 消费 者 的 个 人 数据 必须 得 到 安全 与 负责 任 地 处 理 

可 修改 和 准确 性 : 因 个 人 数据 的 敏感 性 以 及 不 准确 的 数据 会 存在 
使 消费 者 产生 不 良 后 果 的 风险 ， 消 费 者 有 权 查 阅 并 更 正 个 人 资料 
聚焦 收集 : 企业 在 合理 的 限度 内 收集 与 保存 用 户 数据 


患者 保护 与 平价 | 鼓励 医疗 保健 服务 供应 商 过 渡 至 使 用 电子 病历 ， 大 大 提高 了 可 供 
医疗 法 案 临床 医生 、 研 究 者 与 病人 使 用 的 数据 量 
健康 保险 便利 和 | 施行 最 小 化 必须 原则 ， 规 定 个 人 健康 信息 只 能 被 特定 的 、 法 案 中 


责任 法 案 明确 的 主体 使 用 并 披露 。 法 案 中 包括 用 于 帮助 个 人 了 解 并 控制 其 
健康 信息 使 用 的 标准 


家 庭 教育 权 和 隐 | 只 有 满足 法 案 要 求 ， 学 校 或 学 区 才 可 与 第 三 方 机 构 签订 学 生 数 据 


保护 学 生 权 利 修 | 只 有 满足 法 案 要 求 ， 学 校 或 学 区 才 可 与 第 三 方 机 构 签订 学 生 数 据 
正 案 使 用 协议 
儿童 在 线 隐 私 保 | 只 有 满足 法 案 要 求 ， 学 校 或 学 区 才 可 与 第 三 方 机 构 签订 学 生 数据 
护法 使 用 协议 


”| 制定 添加 多 条 数据 标签 的 权限 与 精确 到 哪些 用 户 可 以 基于 哪些 上 
海王 星 与 地 狱 大 | 的 使 用 哪些 数据 的 访问 规则 


电子 通信 隐私 法 保护 电子 通信 记录 ， 痔 明 电子 通信 信息 的 规则 ， 包 括 电 子 邮 件 和 


云 服务 
焚 上 虹 视 记录 器 与 - 
感 追踪 设置 法 案 “| 保护 拨号 信息 
赋予 个 人 访问 与 修正 个 人 信息 的 权利 ， 要 求 提高 消费 者 报告 的 公 
公共 信用 报告 法 “| 司 确保 信息 的 准确 与 完整 ， 限 制 信息 使 用 ， 要 求 机 构 在 依据 报告 
进行 不 利于 当事人 的 措施 时 需 尽 到 告知 的 义务 


4.1.3 ”美国 智慧 能 源 典 型 案例 


1. 家 庭 能 源 数 据 分 析 公 司 Opower 


美国 的 能 源 大 数据 走 在 世界 前 列 ， 其 中 Opower 是 能 源 行 业 的 典型 代表 。 该 公司 于 
2007 年 成 立 ， 是 一 家 能 源 领域 的 SaaS 型 软件 公司 。 目 前 Opower 已 与 9 个 国家 超过 95 家 电力 
公司 签订 了 合作 协议 ， 覆 盖 的 家 庭 用 户 和 商业 用 户 超过 5000 万 户 。 美 国 50 家 最 大 的 售 电 公 
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司 中 ， 有 28 家 与 Opower 是 合作 伙伴 。Opower 使 用 数据 来 提高 消费 用 电 的 能 效 ， 并 取得 了 
显著 的 成 功 ， 分 析 美 国家 庭 用 电费 用 并 将 之 与 周围 的 邻居 用 电 情 况 进 行 对 比 ， 被 服务 的 家 
庭 每 个 月 都 会 收 到 一 份 对 比 的 报告 ， 显 示 自 家 用 电 在 整个 区 域 或 全 美 类 似 家 庭 所 处 的 水 
平 ， 以 鼓励 节约 用 电 。 

Opower 结 合 行为 科学 、 云 数据 平台 、 大 数据 分 析 ， 为 用 户 提供 用 能 服务 ， 帮 助 售 电 
公司 建立 更 稳定 的 客户 关系 并 实施 需求 响应 。Opower 的 实践 是 大 数据 应 用 的 典型 案例 ， 
有 借鉴 价值 。Opower 节 能 技术 方案 是 在 行为 科学 和 大 数据 技术 结合 基础 上 形成 的 。 传 统 
的 节能 降 耗 方案 ， 重 点 放 在 了 省 钱 和 道德 说 教 层面 ， 没 有 掌握 行为 科学 的 奥妙 一 一 告诉 人 
们 其 邻居 的 电费 账单 要 远 低 于 他 的 账单 ， 将 更 能 有 效 刺 激 人 们 采取 行动 ， 因 为 人 们 会 在 潜 
意识 里 说 服 自己 ， 如 果 我 的 邻居 能 够 做 到 ， 那 么 我 也 能 做 到 。 据 报道 ，Opower 的 服务 已 
覆盖 了 美国 几 百 万 户 居民 家 庭 ， 预 计 为 美国 消费 用 电 每 年 节省 5 亿美 元 。 图 4.1 为 Opower 网 
站 首页 。 


With Opower you can: 
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图 4.1 Opower 网 站 首页 
Opower 公 司 的 典型 成 功 是 在 利用 大 数据 的 基础 上 取得 的 ， 该 公司 利用 大 数据 分 布 式 
存储 计算 技术 搭建 整体 分 析 框 架 ， 在 集成 数据 仓库 、 数 据 聚 合 系统 和 用 户 智 能 系统 等 通用 
系统 基础 上 ， 开 发 了 3 个 引擎 : 数据 分 析 引 擎 、 自 动 化 引擎 和 传递 引擎 ， 如 图 4.2 所 示 。 其 
中 数据 分 析 引 擎 包括 用 户 观点 调研 分 析 、 用 户 数据 分 析 和 电力 公司 视角 数据 分 析 :， 自动 化 
引擎 包括 内 容 管理 、 用 户 分 类 和 目标 管理 ， 传 递 引擎 包括 外 送 通道 、 互 联网 和 移动 互联 网 
以 及 CSR 接 口 。 
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图 4.2 Opower 数 据 平台 结构 


(1) 数据 集成 系统 

将 海量 和 分 散 的 数据 集 导入 到 同一 系统 中 ， 是 数据 分 析 所 必需 的 。 该 平台 将 来 自 电力 
公司 的 用 户 系统 、 电 表 数 据 管 理 系统 ， 客 户 关系 管理 (CRM) 系统 ， 和 第 三 方 数据 源 的 
数据 接 入 到 数据 聚合 系统 中 ， 既 包含 了 结构 化 数据 也 包含 非 结 构 化 数据 。 这 些 数据 将 根据 
基于 历史 数据 建立 的 规则 进行 检验 和 清洗 。 

(2) 用 户 数据 仓库 

用 户 数据 仓库 将 电力 公司 用 户 数据 、 用 户 交互 数据 、 运 行 数据 和 第 三 方 数据 集中 进 
行 集中 存储 。 数 据 仓库 应 用 了 Hadoop 和 HBase， 为 电力 公司 统一 展示 用 户 属 性 、 行 为 和 趋 
势 。 该 数据 仓库 现 储存 着 超过 7000 万 用 户 的 数据 和 每 年 超过 4000 亿 条 的 电表 数据 。 可 通过 
Opower 的 用 户 智 能 〈Customer Intelligence) 系统 进行 数据 查询 。 

(3) 数据 分 析 引擎 

Opower 的 数据 分 析 引 擎 基于 多 源 数据 进行 高 速 计算 ， 可 对 用 户 、 电 表 数 据 和 负荷 特 
性 等 进行 分 类 识别 ， 对 用 户 电费 账单 进行 预测 ， 对 电表 特性 进行 分 析 。 该 计算 分 析 具 有 大 
数据 特性 ， 计 算 结 果 可 以 被 优化 和 精细 化 ， 因 为 计算 分 析 中 以 已 经 获取 的 全 球 范围 的 大 规 
模 、 多 类 型 用 户 数据 和 电表 数据 作为 计算 基础 。 

(4) 自动 化 引擎 

自动 化 引擎 和 数据 分 析 引擎 相 结 合 ， 可 对 用 户 进行 实时 分 类 ， 针 对 每 个 用 户 分 析出 其 
个 性 、 心 理 和 行为 特点 。 
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(5) 传递 引擎 

可 在 短 时 间 内 外 传 百 万 条 信息 给 电力 公司 或 用 户 。 传 递 引擎 可 协调 所 有 信息 传送 渠 
道 ， 包 括 电子 邮件 、 邮 政 邮递 、SMS， 互 动 式 语音 应 答 (IVR) ， 网 络 上 传 ， 移 动 通信 终 
端 和 CSR 接 口 。 传 送 后 的 反馈 信息 可 以 自动 返回 到 自动 化 引擎 和 数据 分 析 引 擎 中 ， 以 便 动 
态 改变 分 析 内 容 以 及 传送 方式 。 

(6) CI、 BI 和 APIs 

该 平台 具有 可 扩展 性 ， 使 电力 公司 可 以 通过 多 种 方式 调用 用 户 数据 和 分 析 结 果 。CTI、 
BI 工 具 为 电力 公司 对 数据 进行 实时 监测 数据 、 预 测 变化 趋势 提供 了 手段 ，APIs 使 电力 公司 
可 实时 读 写 Opower 提 供 的 数据 分 析 结 果 。 该 平台 为 电力 公司 既 有 系统 之 间 的 互通 提供 了 
可 能 。 

Opower 的 各 个 解决 方案 是 在 融合 多 领域 专家 知识 基础 上 形成 的 ， 行 为 科学 的 知识 和 
方法 在 其 中 发 挥 了 最 主要 的 作用 。 其 第 一 个 解决 方案 “家 庭 用 能 报告 ”， 就 是 由 行为 心理 
学 家 牵头 设计 而 成 。 此 后 ， 每 个 投入 应 用 的 解决 方案 的 形成 ， 都 离 不 开行 为 科学 的 理论 和 
方法 。 

Opower 在 研究 中 体会 到 ， 平 常情 况 下 家 庭 用 户 对 用 能 情况 是 漠不关心 的 ， 如 何 才 能 
促使 其 关心 用 能 情况 并 持续 参与 节能 活动 呢 ? Opower 应 用 行为 科学 ， 基 于 从 电力 公司 获 
取 的 用 户 用 能 数据 ， 揭 示 了 用 户 在 用 能 方面 的 心理 和 行为 ; 节省 家 庭 电费 、 拯 救 地 球 等 道 
德 说 教 ， 诸 如 此 类 的 激励 均 不 发 挥 作用 ， 而 邻里 之 间 用 能 的 比较 和 竞争 却 有 效 激励 了 用 
户 ， 起 到 了 很 好 的 效果 。 

考虑 到 用 户 平时 对 用 能 情况 的 漠不关心 ，Opower 必 须 使 用 户 在 很 有 限 的 时 间 内 就 能 
理解 其 解决 方案 并 付 之 行动 ， 这 就 要 求解 决 方案 应 基于 简洁 清晰 的 语言 和 可 视 化 的 效果 ， 
在 极 短 时 间 内 对 用 户 造成 强烈 冲击 。 解 决 方案 要 引导 下 一 步 的 行动 ， 因 此 ， 向 用 户 发 送 的 
节能 提示 中 提出 的 方案 一 定 要 具有 可 操作 性 ， 使 用 户 清楚 地 知道 其 下 一 步 该 如 何 行动 。 
为 了 稳定 并 扩大 自己 的 用 户 群 ，Opower 坚 持 一 视 同仁 的 态度 ， 努 力 使 每 个 用 户 ， 无 论 年 
龄 、 收 入 、 语 言 、 能 源 知 识 掌握 程度 等 ， 都 能 在 任何 地 方 收 到 正确 的 服务 信息 ， 使 每 个 用 
户 感觉 到 服务 是 贴心 的 ， 节 能 活动 已 成 为 生活 中 必需 的 内 容 。 

大 数据 技术 在 Opower 的 解决 方案 中 也 发 挥 了 重要 作用 。 智 能 电表 获取 的 用 户 用 能 
数据 迅速 增长 ， 对 数据 存储 、 分 析 和 可 视 化 展现 都 提出 了 很 高 的 要 求 ， 大 数据 技术 为 
Opower 的 解决 方案 提供 了 有 力 支 持 。Opower 为 用 户 提供 的 解决 方案 不 仅 基 于 用 户 用 能 数 
据 ， 还 综合 了 用 户 的 住房 信息 《房间 数 、 房 龄 ) 、 用 户 用 电 设备 情 况 、 周 边 天 气 、 与 电力 
公司 的 互动 情况 等 ， 在 此 基础 上 ， 基 于 融合 后 的 多 源 数据 进行 深入 挖掘 ， 对 用 户 进行 详细 
分 类 ， 针 对 每 个 用 户 特 点 ， 提 供 有 针对 性 的 、 易 被 用 户 接受 的 节能 方案 。 

目前 Opower 提 供 的 最 重要 的 解决 方案 就 是 用 户 用 能 分 析 和 节能 建议 ， 向 用 户 提出 的 
节能 建议 以 直观 、 感 性 方式 呈现 在 Opower 提 供 的 用 能 账单 或 用 能 报告 中 。 以 柱状 图 等 形 
式 对 用 户 家 中 制冷 、 采 暖 、 基 础 负荷 、 其 他 各 类 用 能 等 用 电 情 况 进行 分 类 列 示 ， 并 与 用 户 
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的 邻里 进行 比较 ， 还 根据 用 户 的 用 能 情况 ， 在 账单 或 报告 上 印 上 “笑脸 ”或 “ 愁 容 ” 的 图 
标 。 此 外 ，Opower 在 不 采用 其 他 硬件 设施 、 不 依靠 动态 电价 的 情况 下 ， 仅 通过 软件 系统 
及 与 用 户 的 沟通 实施 需求 响应 ， 降 低 用 电 高 峰 时 的 负荷 峰值 。 在 出 现 高 峰 负 荷 的 前 一 日 ， 
Opower 会 通过 邮件 、 电 话 联系 用 户 ， 向 用 户 提出 第 二 天 的 节 电 方案 。 如 果 用 户 参 与 了 节 
电 ， 除 直接 的 节能 收益 外 ， 在 部 分 项 目 中 Opower 会 对 用 户 给 予 相应 的 奖励 。 与 一 些 基于 
动态 电价 、 智 能 用 电 设 备 实施 的 需求 响应 方案 相 比 ， 这 种 技术 方案 更 经 济 ， 但 却 取得 了 更 
好 的 效果 。 另 外 ， 其 与 用 户 沟通 的 方式 也 极为 丰富 ， 从 最 传统 的 纸 质 邮 件 ， 到 短 消 息 、 电 
子 邮件 、 在 线 平 台 ， 一 应 俱全 。 

根据 Opower 的 历史 数据 统计 ， 接 受 其 服务 后 ， 在 能 效 项 目 中 平均 每 个 家 庭 能 够 节省 
1.5% 一 2.5% 的 能 源 ; 在 需求 响应 项 目 中 ， 通 过 提前 一 天 通知 负荷 高 峰 并 给 出 需求 响应 建 
议 ， 平 均 每 个 家 庭 能 够 在 负荷 高 峰 日 降低 5% 左 右 的 负荷 。 同 时 根据 统计 分 析 ，Opower 
项 目 依据 其 个 性 化 的 服务 方式 ， 在 不 同 用 户 类 型 中 均 取 得 了 良好 的 应 用 效果 ， 用 户 的 
收入 、 年 龄 、 居 住 条 件 、 参 与 项 目前 的 能 效 水 平等 差异 并 未 对 造成 应 用 结果 产生 过 多 
的 影响 。 

根据 其 网 站 上 的 动态 信息 ，Opower 已 累计 帮助 用 户 节省 了 超过 80 亿 kW-h 的 电力 ， 节 
省 电费 超过 10 亿 美元 ， 减 排 二 氧化 碳 超 过 110 亿 吨 〈 约 合 540 万 吨 ) ， 随 着 用 户 规模 逐渐 增 
大 ， 这 些 数据 均 在 加 速 地 增长 。 


2. 储 能 技术 公司 JLM Energy 


JLM Energy 公 司 是 一 家 位 于 美国 加 利 福 尼 亚 州 罗 克 林 的 能 源 技术 公司 ， 成 立 于 2011 
年 ， 创 始 人 为 Farid Dibachi 和 Kraig Clark。JLM 公 司 致 力 于 研究 、 开 发 和 制造 储 能 产品 ， 并 
提供 基于 储 能 的 智能 微 网 解决 方案 ， 以 降低 商业 、 工 业 和 住宅 用 户 的 能 量 消耗 。 

为 了 实现 巨大 变革 ，JLM Energy 公 司 实现 让 各 种 形式 的 能 源 和 谐 共 存 ， 让 客户 能 够 
有 效 、 高 效 地 使 用 由 可 再 生 能 源 、 电 网 、 能 量 储存 和 本 地 发 电机 供给 的 电能 。Energizr 是 
JLM Energy 公 司 的 一 个 储 能 和 管理 系统 ， 主 要 针对 住宅 和 小 型 商业 项 目的 并 网 或 离 网 。 在 
单个 单元 中 ，Energizr 将 汇集 能 量 储存 系统 中 的 4 个 主要 组 成 部 分 ， 即 公用 电网 电源 、 可 再 
生 能 源 、 外 部 备用 发 电机 及 能 量 储存 。 此 外 ，Energizr 可 以 通过 互联 网 或 手机 网 络 连接 到 
所 有 者 和 当地 公用 电网 并 进行 通信 ， 从 而 实现 对 能 量 储存 系统 的 在 线 监控 。 

Energizr 具 有 如 下 优点 : 通用 的 软件 控制 平台 (Measurz) ; 离 /并 网 可 切换 ， 适 配 任 
何 并 网 逆 变 器 ， 可 组 合 使 用 (4 套 ，17.6kVA) ;集成 内 燃 发 电机 ， 设 计 美 观 ， 嵌 入 式 通 
信 ( 以 太 网 、WiFi、RS-485 等 ) ;事件 和 时 间 驱 动 编程 ， 具 备 需求 响应 功能 (Powrz) ; 
风力 发 电机 组 无 颖 集成 (Zefr) ; 嵌入 式 切换 开关 ; 安装 简单 。 通 过 不 同 的 配置 模式 ， 
Energizer 可 以 满足 商业 和 非 商业 用 户 的 能 源 需 求 。 它 的 运行 模式 是 通过 储存 由 Zefr 风 机 阵 
列 和 Solarz 光 伏 阵 列 产生 的 多 余 能 量 ， 以 减少 对 电网 的 依赖 ， 从 而 创造 一 个 更 可 靠 的 可 再 
生 能 源 系统 。 
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Measurz 是 JLM Energy 公 司 的 云 软 件 平台 ， 被 设计 为 LM Energy 公 司 产品 的 用 户 界面 
和 数据 采集 器 。 所 有 JLM Energy 公 司 的 产品 都 可 以 接 入 Measurz， 一 旦 接 入 ， 系 统 控制 器 
将 通过 一 个 静态 IP 地 址 与 互联 网 连接 。 然 后 ，Measurz 将 识别 系统 的 序列 号 ， 并 为 系统 用 
户 提供 一 个 用 户 名 和 密码 ， 从 而 用 户 可 以 使 用 这 些 赁 证 来 监测 和 控制 他 们 的 能 源 系统 。 

此 外 ，Measurz 还 为 用 户 提供 一 个 通用 的 能 源 建 模 和 监控 系统 (Energy Storage 
Toolkit，EST) ，Measurz EST 可 以 监视 整个 能 源 系统 的 运行 状况 ， 并 实时 监测 能 源 系 统 产 
生 和 消耗 的 能 量 。 除 了 能 源 监 测 ，Measurz EST 还 可 以 让 用 户 远 程控 制 所 有 接 入 到 Measurz 
的 设备 。 例 如 ， 在 用 电 高 峰 期 ， 用 户 可 以 切断 电池 ， 让 光伏 发 电 并 入 到 公用 电网 ， 以 获得 
用 电 的 稳定 性 ; EST 可 以 从 公用 事业 单位 获取 实时 电价 信息 ， 当 分 时 电价 较 贵 时 ， 用 户 可 
以 选择 使 用 储存 在 电池 中 的 能 量 ， 而 不 是 使 用 来 自 公 用 电网 的 电能 。 通 过 Measurz EST， 
用 户 也 可 为 自己 自 定义 一 个 能 源 系统 ，EST 会 给 出 该 系统 的 成 本 、 发 电 预 测 、20 年 的 财务 
状况 等 信息 。 

Powrz 是 JLM Energy 公 司 推出 的 一 款 实时 需求 响应 管理 工具 。Powrz 具 有 如 下 几 个 优 
点 : 可 使 电费 降低 高 达 30%; 一 年 之 内 即 可 收回 投资 成 本 ;实时 或 15 分 钟 一 次 的 功率 测 
量 ; 可 将 儿 个 Powrz 单 元 组 合 使 用 以 满足 大 型 系统 的 需求 管理 ， 云 在 线 管理 平台 可 以 对 其 
进行 远程 控制 。 

Powrz 通 过 负荷 接线 箱 与 建筑 物 的 电气 负载 相连 ， 每 个 负荷 接线 箱 只 能 连接 到 一 个 负 
载 。 负 荷 接线 箱 的 载 流 能 力 可 选 ， 范 围 为 60 一 1200A。 通 过 实时 监测 〈 一 秒 一 次 ) 建筑 物 
的 功率 ，Powrz 可 以 获取 实时 功率 需求 。 如 果 建 筑 物 的 总 功率 超过 特定 量 ， 则 Powrz 将 控制 
系统 切断 多 达 4 个 建筑 物 的 负荷 ， 一 次 一 个 ， 以 减少 高 昂 的 电费 支出 。 

2015 年 1 月 ，JLM Energy 公 司 在 加 利 福 尼 亚 州 的 第 二 套 风 - 光 - 电 池 并 网 / 离 网 家 用 系统 
获得 政府 批准 。 该 项 目的 批准 对 于 加 利 福 尼 亚 州 的 电力 市 场 具有 巨大 的 影响 ， 这 是 继 第 一 
套 Energizr 能 源 系统 在 夏威夷 安装 之 后 ，JLM Energy 公 司 的 再 次 突破 ， 并 将 进一步 拓展 美 
国 、 欧 洲 和 加 拿 大 市 场 。 

该 风 - 光 -电池 并 网 / 离 网 家 用 系统 采用 风光 互补 技术 进行 供电 ， 其 中 光伏 发 电 采 用 
JLM Energy 公 司 的 Solarz 产 品 ， 能 够 提供 3 种 规格 的 光伏 组 件 ， 并 采用 智能 逆 变 器 远程 
实时 监控 发 电 状况 ， 风 力 发 电 采 用 JLM Energy 公 司 的 Zefr 产 品 ， 这 是 一 个 结合 空气 动力 
学 、 电 力 电子 和 数字 化 控制 的 风 阵列 发 电 系 统 。 此 外 ， 该 系统 还 配备 有 JLM Energy 公 司 
的 Gyezr 太 阳光 热 系 统 ， 它 采用 先进 的 功率 采集 技术 ， 并 使 用 无 线 通信 来 监测 其 状态 和 性 
能 数据 。 整 个 系统 的 能 量 储存 和 管理 由 芽 M Energy 公 司 的 基于 电池 的 储 能 系统 Energizr 实 
现 ， 整 个 系统 的 运行 状况 监测 及 控制 由 云 在 线 监控 平台 Measurz 进 行 。 该 系统 一 般 为 离 网 
模式 ， 用 户 所 需 电能 为 自给 自足 ， 并 对 发 电 及 用 电 状 况 进 行 实时 监控 。 在 必要 的 时 候 可 以 
转换 成 并 网 模式 ， 从 公用 电网 获取 电能 。 

JLM Energy 公 司 提供 的 基于 电池 的 储 能 系统 实质 上 是 一 个 智能 微 网 系统 。 智 能 微 电 
网 是 规模 较 小 的 分 散 的 独立 系统 ， 它 将 分 布 式 发 电 、 储 能 装置 、 能 量 装 换 装置 、 相 关 负 荷 
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和 监控 、 保 护 装置 汇集 而 成 小 型 发 配 电 系统 ， 是 能 够 实现 自我 控制 、 保 护 和 管理 的 自治 系 
统 ， 既 可 以 与 外 部 电网 运行 ， 也 可 以 独立 运行 。JLM Energy 公 司 所 提供 的 智能 微 网 系统 具 
有 云 在 线 远程 监控 、 实 时 需求 响应 管理 等 显著 特点 ， 其 发 展 模式 对 于 我 国 开展 智能 微 网 建 
设 极 具 参考 价值 。 发 展 智能 微 网 系统 ， 应 最 大 程度 接纳 分 布 式 电源 ， 应 通过 远程 监控 实现 
节能 增 效 ， 应 满足 用 户 对 供电 可 靠 性 的 个 性 化 需求 ， 应 利用 储 能 装置 和 控制 保护 装置 实时 
调节 以 平滑 系统 的 波动 ， 应 实现 用 户 侧 需 求 响应 等 功能 。 


4.2 欧盟 地 区 智慧 能 源 发 展 动向 


4.2.1 欧盟 地 区 智慧 能 源 政策 分 析 


近年 来 ， 欧 盟 成 员 国 部 分 国家 经 济 遭 遇 较 大 冲击 。 以 英国 为 例 ， 该 国 经 济 发 展 状 况 
持续 低迷 ， 英 国政 府 期 望 通过 扶持 新 兴 高 科技 技术 的 发 展 ， 来 增强 国家 在 国际 竞争 中 的 实 
力 ， 依 靠 科技 领先 带动 整个 经 济 发 展 。 

2013 年 10 月 31 日 ， 英 国 商务 、 创 新 和 技能 部 发 布 《 英 国 数 据 能 力 发 展 战略 规划 》， 
旨 在 使 英国 成 为 大 数据 分 析 的 世界 领跑 者 ， 并 使 公民 和 消费 者 、 企 业界 和 学 术 界 、 公 共 部 
门 和 私营 部 门 均 从 中 获 益 。 该 战略 在 定义 数据 能 力 以 及 如 何 提高 数据 能 力 方面 ， 进 行 了 系 
统 性 的 研究 分 析 ， 并 提出 了 举措 建议 。 该 战略 在 数据 能 力 方面 提出 了 3 方面 要 求 ， 人 力 资 
本 、 基 础 设施 和 数据 资产 。 

为 提高 大 数据 应 用 能 力 ,《 英 国 数据 能 力 发 展 战略 规划 》 提 出 了 一 系列 措施 : 一 是 在 
人 才 建 设 方面 ， 通 过 大 力 发 展 数据 相关 技术 、 全 面 提升 和 改革 教育 体系 中 数据 相关 课程 和 
专业 研究 ， 以 及 企业 的 人 才 激 励 和 数据 相关 职业 的 发 展 ， 来 促进 人 才 的 培育 ， 二 是 在 基础 
设施 、 软 件 和 协同 研发 方面 ， 以 强大 的 数据 存储 、 云 计算 、 网 络 等 基础 设施 为 基础 ， 大 力 
开发 新 软件 和 新 技术 ， 提 升 研发 实力 ， 促 进 学 校 和 企业 、 跨 学 科 / 领 域 的 机 构 和 部 门 之 间 
的 合作 共 赢 ;三 是 重视 数据 安全 和 隐私 保护 ， 完 善 法 律 和 制度 建设 ， 合 理 进 行 数 据 共享 和 
信息 公开 。 

为 保障 《英国 数据 能 力 发 展 战 略 规划 》 的 实施 ， 英 国政 府 成 立 了 信息 经 济 委员 会 ， 作 
为 一 个 跨 企 业界 、 学 术 界 和 政府 的 合作 部 门 ， 以 促进 英国 数据 能 力战 略 方针 制定 。 在 信息 
经 济 委 员 会 的 指导 下 ， 还 分 别 成 立 了 多 个 委员 会 ， 为 英国 政府 的 大 数据 存储 和 分 析 所 需 的 
基础 设施 、 技 术 支 持 提供 建议 。 

在 能 源 大 数据 战略 上 ，2013 年 8 月 12 日 ， 英 国政 府 发 布 《英国 能 源 技术 战略 》。 该 战 
略 指出 ， 英 国 今后 对 能 源 技术 的 投资 将 集中 在 大 数据 上 ， 目 标 是 将 英国 的 能 源 科技 商 业 
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化 。 英 国 技术 战略 委员 会 将 协助 该 战略 的 实施 ， 并 将 有 高 达 6000 万 英镑 的 投资 用 于 促进 高 
新 技术 的 开发 上 。 在 该 战略 的 指导 下 成 立 的 第 一 家 “智慧 能 源 技术 创新 中 心 ” 研 究 焦点 将 
投向 大 数据 产业 ， 致 力 于 将 英国 打造 成 智慧 能 源 世 界 级 强国 。 本 战略 的 制定 者 一 一 英国 商 
业 、 创 新 与 技术 部 强调 了 关于 政府 部 门 及 其 项 目的 IT 技术 重要 性 。 

另外 一 方面 ， 由 于 石油 价格 的 不 稳定 、 石 油 资源 的 有 限 性 、 能 源 需求 的 爆炸 性 和 欧 
盟 减 少 温室 气体 排放 的 计划 ， 可 再 生 能 源 有 限 的 欧洲 必须 建立 跨 区 能 源 交易 和 输送 体系 以 
解决 其 战略 生存 ， 也 就 是 通过 超级 智能 电网 计划 ， 充 分 利用 潜力 巨大 的 北非 沙漠 太阳 能 和 
风能 等 可 再 生 能 源 发 展 满足 欧洲 的 能 源 需 要 ， 完 善 未 来 的 欧洲 智慧 能 源 系统 。 目 前 ， 英 、 
法 、 意 等 国都 在 加 快 推动 智能 电网 的 应 用 和 变革 ， 意 大 利 的 局 部 电网 已 经 率先 实现 了 智能 
化 。2009 年 初 ， 欧 盟 有 关 圆桌 会 议 进一步 明确 要 依靠 智能 电网 技术 将 北海 和 大 西洋 的 海上 
风电 、 欧 洲 南 部 和 北非 的 太阳 能 融入 欧洲 电网 ， 以 实现 可 再 生 能 源 大 规模 集成 的 跳跃 式 发 
展 。 欧 盟 为 应 对 气候 变化 、 对 能 源 进口 依赖 日 益 严重 等 挑战 ， 向 客户 提供 可 靠 便利 的 能 源 
服务 ， 正 在 着 手 制定 一 整套 能 源 政策 。 这 些 政策 将 覆盖 资源 侧 、 输 送 侧 以 及 需求 侧 等 方 
面 ， 从 而 推动 整个 产业 领域 深刻 变革 ， 为 客户 提供 可 持续 发 展 的 能 源 ， 形 成 低能 耗 的 经 济 
发 展 模式 。 欧 洲 智能 电网 技术 研究 主要 包括 网 络 资产 、 电 网 运行 、 需 求 侧 和 计量 、 发 电 和 
电能 存储 4 个 方面 。 

在 欧洲 ， 智 能 电网 建设 的 驱动 因素 可 以 归结 为 市 场 、 安 全 与 电能 质量 、 环 境 等 3 方 
面 。 欧 洲 电力 企业 受到 来 自 开放 的 电力 市 场 的 竞争 压力 ， 有 亚 须 提高 用 户 满意 度 ， 争 取 更 多 
用 户 。 因 此 提高 运营 效率 、 降 低 电力 价格 、 加 强 与 客户 互动 就 成 了 欧洲 智能 电网 建设 的 重 
点 之 一 。 与 美国 用 户 一 样 ， 欧 洲 电力 用 户 也 对 电力 供应 和 电能 质量 提出 了 更 高 的 要 求 ， 而 
对 环境 保护 的 极度 重视 ， 则 造成 欧洲 智能 电网 建设 比美 国 更 为 关注 可 再 生 能 源 的 接 入 ， 以 
及 对 野生 动物 的 影响 。 在 欧洲 已 经 有 大 量 的 电力 企业 如 火 如 蔡 地 展开 了 智能 电网 建设 实 
践 ， 内 容 履 盖 发 电 、 输 电 、 配 电 和 售 电 等 环节 。 这 些 电力 企业 通过 促成 技术 与 具体 业务 的 
有 效 结合 ， 使 智能 电网 建设 在 企业 生产 经 营 过 程 中 切实 发 挥 作用 ， 从 而 最 终 达 到 提高 运营 
绩效 的 目的 。 智 能 能 源 技术 可 以 帮助 欧洲 在 未 来 12 年 内 减少 排放 15%， 这 将 成 为 欧盟 完成 
2020 年 减 排 目 标的 关键 。 


4.2.2 欧盟 智慧 能 源 创 新 发 展 之 路 


在 20 世 纪 70 年 代 ， 欧 盟 的 前 身 一 一 欧 共 体委 员 会 推出 了 《1977 一 1980 欧 洲 共同 体 科 

技 政策 指南 》， 标 志 着 欧洲 统一 的 科技 研发 合作 战略 形成 。1983 年 ， 欧 共 体 为 协调 成 员 国 

科技 政策 ， 搭 建 欧洲 企业 间 合作 平台 ， 加 强 在 高 技术 领域 的 商业 竞争 力 ， 推 出 了 第 一 个 

“技术 研发 框架 计划 ”FP1 (The First Framework Programme for Research and Technological 
Development) 。 


欧盟 科技 框架 计划 已 成 为 世界 上 规模 最 大 的 官方 综合 性 科研 与 开发 计划 之 一 ， 先 后 


基于 大 数据 的 智慧 电网 技术 


有 第 一 框架 计划 FP1 (1984 一 1987) 、 第 二 框架 计划 FP2 (1987 一 1991) 、 第 三 框架 计 
划 FP3 (1991 一 1994) 、 第 四 框架 计划 FP4 (1994 一 1998) 、 第 五 框架 计划 FP5 (1998 一 
2002) 、 第 六 框架 计划 FP6 (2002 一 2006) 和 第 七 框架 计划 FP7(2007 一 2013) ， 其 中 FP7 
投入 经 费 501.82 亿 欧元 。 

能 源 是 科技 框架 计划 的 重要 内 容 ， 特 别 是 在 FP6 和 FP7 中 ， 能 源 相 关 技 术 研 发 的 地 位 
更 加 突出 。 

进入 21 世 纪 ， 随 着 能 源 、 环 境 问 题 的 凸显 ， 欧 盟 依 托 “ 技 术 研发 框架 计划 ”， 加 强 
了 能 源 技术 研发 。 在 2002 一 2006 年 执行 的 第 六 框架 计划 FP6 中 ， 能 源 并 未 单独 作为 优先 领 
域 ， 而 是 放 在 “可 持续 发 展 ， 全 球 环境 变化 和 生态 系统 ”中 ， 重 点 包括 可 再 生 能 源 技术 、 
节能 提 效 、 替 代 燃 料 、 燃 料 电池 、 氢 储 能 等 ， 目 标 是 开发 和 使 用 新 的 技术 和 可 持续 发 展 的 
能 源 生产 和 使 用 策略 ， 尤 其 是 增加 可 再 生 能 源 的 利用 。 能 源 部 分 经 费 为 8.1 亿 欧元 ， 占 总 
预算 的 4.6%。 在 2007 一 2013 年 执行 的 第 七 框架 计划 FP7 中 ， 能 源 成 为 了 独立 的 优先 领域 ， 
重点 包括 氧 能 和 燃料 电池 、 可 再 生 能 源 发 电 、 可 再 生 能 源 供 热 、 制 冷 、 二 氧化 碳 捕获 与 
封存 、 洁 净 煤 技术 、 节 能 提 效 、 电 力 /天 然 气 网 络 和 能 源 政策 研究 等 ， 目 标 是 优化 能 源 结 
构 ， 提 高 能 源 效率 ， 应 对 能 源 供应 安全 和 气候 变化 ， 提 高 欧洲 工业 竞争 力 。2008 年 ， 欧 
盟 实施 的 《欧洲 战略 性 能 源 技术 规划 》 (European Strategic Energy Technology Plan,，SET- 
Plan) 是 欧盟 指导 能 源 技术 发 展 的 战略 性 文件 ， 体 现 了 当时 欧盟 对 能 源 技术 发 展 的 新 认识 
和 新 判断 。SET-Plan 提 出 欧盟 未 来 能 源 发 展 需 依赖 的 6 个 支柱 ， 工 业 用 生物 燃料 、 碳 捕捉 
及 运输 与 存储 、 欧 洲 电 网 、 燃 料 电池 和 和 氧 能 、 核 电 、 太 阳 能 和 风能 技术 ， 另 外 还 提出 了 以 
能 效 为 主 的 智能 城市 的 概念 (但 没有 具体 内 容 和 投资 估算 ) 。 

SET-Plan 是 欧盟 能 源 政策 最 重要 的 决策 支持 工具 ， 则 在 加 快 知识 发 展 、 技 术 转 化 和 扩 
大 市 场 ， 确 保 欧盟 在 低 碳 技术 上 的 产业 领导 地 位 ， 通 过 技术 发 展 促进 实现 欧盟 2020 年 能 源 
气候 变化 目标 ， 推 动 全 球 到 2050 年 前 形成 低 碳 经 济 。 

SET-Plan 的 实施 机 制 主要 包括 : 

(1) 欧洲 工业 计划 (European Industrial Initiatives，EID) ， 包 括 风电 、 太 阳 能 发 电 、 
碳 捕捉 和 储存 、 电 网 、 生 物质 能 和 核 裂 变 6 项 计划 。 

(2) 欧洲 能 源 研究 联盟 (European Energy Research Alliance，EERA) ， 它 通过 分 享 
实施 和 联合 实施 成 员 国 的 研究 计划 ， 实 现 欧盟 能 源 研 究 能 力 的 优化 。 

(3) 燃料 电池 与 氨 能 联合 行动 (Fuel Cell and Hydrogen Joint Undertaking，FCHJU) ， 
2008 年 由 欧洲 委员 会 和 企业 建立 ， 虽 在 加 快 燃料 电池 和 和 氢 能 技术 在 欧洲 的 市 场 化 。 

SET-Plan 各 类 项 目的 经 费 主要 通过 3 种 渠道 获得 : 欧盟 第 七 科技 框架 计划 (FP7) 、 
欧洲 能 源 复兴 计划 〈European Energy Programme for Recovery，EEPR) 和 NER300。SET- 
Plan 总 投入 近 40.8 亿 欧元 ， 其 中 碳 捕 提 和 存储 技术 〈Carbon Capture and Storage，CCS) 占 
29%， 风 电 占 23.8%， 生 物质 能 占 20.3%。 


第 4 章 智慧 能 源 大 数据 全 球 政策 动向 


4.2.3 欧盟 Horizon 2020 能 源 规 划 


2013 年 12 月 ， 欧 盟 出 台 了 Horizon 2020 研 究 创新 计划 以 下 简称 H2020〉。2014 年 1 月 
H2020 正 式 启 动 ， 是 欧洲 最 大 的 研究 创新 计划 ， 经 费 近 800 亿 欧元 ， 时 间 跨 度 从 2014 年 到 
2020 年 ， 主 要 涉及 领域 包括 : 农业 与 林业 、 水 产 资源 、 生 物 技术 、 能 源 、 环 境 与 气候 变 
化 、 交 通 、 信 息 控制 技术 研发 等 。 欧 盟 认 为 ， 该 计划 对 实现 “欧洲 2020 发 展 战略 ”一 一 智 
能 、 可 持续 和 包容 性 增长 与 增加 就 业 发 挥 着 核心 作用 。H2020 能 源 技术 创新 计划 (以 下 简 
称 “H2020 能 源 规划 ”) 是 其 中 的 重要 组 成 部 分 ， 体 现 了 欧盟 对 能 源 技术 创新 发 展 的 最 新 
认识 和 理念 。 

H2020 能 源 规划 项 目 需求 分 2014 年 、2015 年 两 期 ， 内 容 包 括 4 个 方面 一 一 能 源 效 率 、 
低 碳 能 源 、 智 能 城市 和 社区 与 中 小 型 企业 参与 ， 可 分 为 3 类 一 一 研发 类 RIA、 示 范 类 IA 和 
协调 支撑 类 CSA。 其 中 研发 类 RIA 包 括 实验 室 或 仿真 环境 下 的 基础 性 、 实 用 性 技术 研发 、 
集成 、 实 验 等 ;示范 类 IA 包 括 新 的 或 改进 的 技术 、 产 品 、 工 艺 、 服 务 或 解决 方案 的 技 
术 经 济 性 示范 或 试验 项 目 ， 协 调 支 撑 类 CSA 包 括 改善 市 场 环境 、 加 速 市 场 转型 ， 如 标准 
化 、 能 力 建设 等 。 两 期 总 预算 约 12 亿 欧元 。2014 年 和 2015 年 预算 分 别 为 58317 万 欧元 、 
61592 万 欧元 。 

该 计划 的 长 期 驱动 力 是 推动 实现 欧盟 的 能 源 长 期 发 展 目标 ， 即 保障 能 源 安 全 、 提 高 欧 
盟 产 业 竞争 力 、 确 保 能 源 价格 可 承受 以 及 应 对 气候 变化 。 直 接 驱 动力 是 应 对 欧盟 能 源 发 展 
面临 的 挑战 ， 即 减少 能 源 消费 和 碳 足 迹 ; 确保 低 成 本 、 低 碳 电力 供应 ; 使 用 替代 燃料 和 可 
移动 能 量 源 〈 如 移动 储 能 装置 、 电 动 汽车 等 ) ; 构建 一 体 、 智 能 的 欧洲 电网 ， 加 快 新 知识 
和 新 技术 研发 ， 实 施 稳 健 的 政策 ， 吸 引 公众 参与 ， 加 强 能 源 和 ICT 技 术 融 合 ， 扩 大 创新 技 
术 市 场 份额 。 


4.2.4 欧盟 大 数据 发 展 战略 


目前 ， 欧 盟 及 其 成 员 国 已 经 明确 制定 大 数据 发 展 战略 ， 数 据 价值 链 不 同 阶段 产生 的 价 
值 将 成 为 未 来 知识 经 济 的 核心 ， 利 用 好 数据 可 以 为 运输 、 健 康 或 制造 业 等 传统 行业 带 来 新 
的 机 遇 。 

欧盟 在 大 数据 方面 的 活动 主要 涉及 四 方面 内 容 : 研究 数据 价值 链 战 略 因素 ; 资助 “大 
数据 ”和 “开放 数据 ”领域 的 研究 和 创新 活动 ; 实施 开放 数据 政策 ， 促 进 公 共 资 助 科研 实 
验 成 果 和 数据 的 使 用 及 再 利用 ， 如 图 4.3 所 示 。 


3 其 于 大 数据 的 智 菇 电网 技术 


数据 价值 链 战 略 
计划 


促进 公共 资助 科研 
实验 成 果 和 数据 的 
使 用 及 再 利用 


图 4.3 ”欧盟 大 数据 战略 主要 内 容 


1. 数据 价值 链 战 略 计划 


欧盟 委员 会 正在 研究 制定 数据 价值 链 战 略 计划 ， 以 实现 数据 的 最 大 价值 ， 重 点 是 通过 
一 个 以 数据 为 核心 的 连贯 性 欧盟 生态 体系 ， 让 数据 价值 链 的 不 同 阶段 产生 价值 。 数 据 价 值 
链 的 概念 为 数据 的 生命 周期 ， 从 数据 产生 、 验 证 以 及 进一步 加 工 后 ， 以 新 的 创新 产品 和 服 
务 形式 出 现 的 利用 和 再 利用 。 

数据 价值 链 战略 计划 遵循 的 主要 原则 是 : 高 质量 数据 的 广泛 获得 性 ， 包 括 公共 资助 数 
据 的 免费 获得 ， 作 为 数字 化 单一 市 场 一 部 分 ， 欧 盟 内 数据 的 自由 流动 ， 寻 求 个 人 潜在 隐 
私 问 题 与 其 数据 再 利用 潜力 之 间 的 适当 平衡 ， 同 时 赋予 公民 以 其 希望 形式 使 用 自己 数据 
的 权利 。 

这 一 计划 的 重点 是 培育 一 个 连贯 的 欧洲 数据 生态 系统 ， 促 进 围绕 数据 的 研究 和 创新 
工作 ， 采 纳 数据 服务 及 产品 ， 采 取 具 体 行动 ， 改 善 数据 价值 提取 的 框架 条 件 ， 包 括 基 础 能 
力 、 基 础 设备 、 标 准 以 及 有 利 的 政策 和 法 规 环境 ， 目 前 正在 单一 战略 框架 下 制定 一 系列 重 
点 行动 ， 解 决 数据 价 值 链 中 与 价值 创造 相关 的 大 量 交 叉 问 题 。 

数据 价值 链 战略 计划 包括 数据 开放 、 云 计算 、 高 性 能 计算 和 科学 知识 开放 获取 4 大 战略 。 

(1) 数据 开放 战略 

欧盟 认为 ， 为 加 强 创 新 潜力 ， 应 尽 可 能 以 最 好 的 方式 使 用 资源 ， 这 些 创 新 资源 就 是 数 
据 。 开 放 数 据 将 成 为 新 的 就 业 和 经 济 增长 的 重要 工具 。 为 了 应 对 这 一 变革 ，2010 年 11 月 欧 
盟 通信 委员 会 向 欧洲 议会 提交 了 《开放 数据 : 创新 、 增 长 和 透明 治理 的 引擎 》 的 报告 ， 报 
告 以 开放 数据 为 核心 ， 制 定 了 应 对 大 数据 挑战 的 战略 。 

(2) 云 计算 战略 

2012 年 9 月 ， 欧 委 会 通过 并 公布 了 “释放 欧洲 云 计 算 服 务 潜力 ”战略 ， 计 划 通 过 两 年 
时 间 ， 把 欧盟 打造 成 云 计算 服务 的 强势 集团 ， 为 2014 一 2020 年 期 间 的 欧盟 云 起 飞 (Cloud 
Takeoff) 夯实 基础 。 欧 盟 云 计算 战略 及 3 大 关键 行动 分 别 为 :规范 和 简化 的 云 计算 标准 ; 
云 计算 安全 和 公平 的 合同 条 款 及 条 件 ; 建设 欧盟 云 计 算 伙伴 关系 ， 了 驱动 创新 和 增长 。 其 他 
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的 具体 行动 举措 还 包括 : 数据 保护 、 网 络 安全 、 信 任 举 措 、 云 计算 互 操作 性 、 宽 带 部 署 、 
在 线 服 务 、 公 共 行 业 首先 参与 云 计算 和 国际 对 话 与 合作 等 。 目 前 欧盟 已 成 立 了 6 个 战略 实 
施工 作 小 组 ， 具 体 涉及 云 标准 协调 、 服 务 标准 协议 、 认 证 计划 、 行 为 守则 、 专 家 研究 小 组 
和 云 伙伴 关系 。 

(3) 高 性 能 计算 战略 

在 欧盟 第 七 框架 计划 和 “地 平 线 2020” 计 划 下 的 研究 和 创新 支持 可 扩展 的 高 性 能 计算 
系统 ， 如 micro-server/form-factor 数 据 中 心 的 概念 。 小 型 “数据 中 心 式 开 箱 ” 可 以 单独 部 署 
或 集中 在 嵌入 式 系统 于 汽车 或 电话 交换 机 ， 或 者 大 规模 聚集 成 为 一 个 云 服 务 器 ， 如 处 理 单 
元 (GPU) 或 者 高 性 能 计算 (HPC) 系统 中 。 

(4) 科学 知识 开放 获取 

科学 知识 开放 获取 的 目标 是 提高 欧盟 层面 和 成 员 国 层面 政府 资助 的 科学 研究 的 影响 
力 。2012 一 2013 年 ， 欧 盟 委员 会 投入 4500 万 欧元 建设 支持 开放 共享 和 科学 信息 长 期 保存 的 
基础 设施 ， 并 与 各 个 相关 利益 团体 就 开放 共享 和 数字 信息 保存 工作 进行 对 话 ， 同 时 建议 各 
成 员 国 制定 本 国 的 公共 资助 科研 论文 开放 共享 政策 ， 探 索 科 学 数据 开放 共享 和 科学 信息 长 
期 保存 ， 支 持 相应 的 基础 设施 建设 。2012 年 7 月 17 日 ， 欧 盟 委员 会 发 布 开 放 共享 政策 ， 宣 
布 欧盟 Horizon 2020 计 划 所 资助 的 科研 论文 全 部 实行 开放 共享 。2013 年 12 月 25 日 ， 欧 盟 委 
员 会 宣布 启动 试点 ， 开 放 公 共 资 助 研究 数据 ，2014 一 2015 年 ， 参 与 开放 研究 数据 试点 的 关 
键 领域 项 目 将 获得 约 30 亿 欧元 的 经 费 。 


2. 资助 “大 数据 ”和 “开放 数据 ”领域 的 研究 和 创新 活动 


欧盟 委员 会 除 资助 “大 数据 ”和 “开放 数据 ”领域 的 研究 和 创新 活动 外 ， 还 启动 “ 连 
接 欧 洲 设施 ” (Connecting Europe Facility，CEF) 计划， 采取 权益 和 债务 证 券 及 补助 相 
结合 的 形式 促进 数字 基础 设施 建设 。 在 2014 年 1 月 的 信息 和 网 络 日 上 ， 欧 盟 委员 会 确定 了 
“Horizon 2020” 连 接 欧 洲 设施 计划 的 2014 一 2015 年 工作 内 容 。 


3. 实施 开放 数据 政策 


开放 数据 政策 一 方面 制定 公共 信息 再 利用 的 法 规 和 国家 执行 规则 以 及 欧盟 委员 会 自身 
数据 再 利用 规则 ， 另 一 方面 支持 公共 部 门 信息 开放 活动 ， 此 外 还 措 建 开放 数据 平台 。 


4. 促进 公共 资助 科研 实验 成 果 和 数据 的 使 用 及 再 利用 
促进 公共 资助 科研 试验 成 果 及 数据 的 使 用 和 再 使 用 ， 也 称 科学 知识 开放 获取 。 
4.2.5 德国 智慧 能 源 典型 案例 


2000 年 德国 制定 了 能 源 转型 的 政策 ， 目 标 是 使 全 德国 的 能 源 利用 更 加 “环保 、 经 济 、 
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安全 ”， 这 葛 定 了 德国 构建 能 源 互 联网 的 基础 。 为 了 加 强 研 发 活动 ， 德 国联 邦 经 济 和 技术 
部 在 智能 电网 的 基础 上 启动 了 E-Energy( 以 ICT 为 基础 的 未 来 能 源 系统 ) 促进 计划 ， 提 出 
打造 新 型 能 源 网 络 的 目标 。E-Energy 计 划 旨 在 推动 地 区 和 相关 企业 积极 参与 创建 基于 ICT 
技术 的 能 源 系 统 ， 其 目标 不 仅 是 通过 供电 系统 的 数字 联网 保证 稳定 高 效 供电 ， 还 要 通过 现 
代 信 息 和 通信 技术 优化 整个 能 源 供应 和 消费 系统 。 在 德国 政府 部 门 的 支持 下 ，E-Energy 向 
全 国 招标 示范 地 区 ， 在 2008 一 2013 年 进行 开发 和 示范 能 源 互 联网 领域 的 关键 技术 与 商业 
模式 ， 最 终 共 有 6 个 地 区 竞标 成 功 。 此 外 ， 在 E-Energy 项 目 实施 以 后 ， 德 国政 府 还 推进 了 
IRENE、Peer Energy Cloud、ZESMIT 和 Future Energy Grid 等 项 目 。 


1. eTelligence 项 目 


eTelligence 项 目 选择 在 人 口 较 少 、 风 能 资源 丰富 、 大 负荷 种 类 较为 单一 的 库 克 斯 港 进 
行 。 物 理 结构 上 ， 该 项 目 主要 由 1 座 风 力 发 电厂 、1 座 光伏 电站 、2 座 冷库 、1 座 热电 联 产 厂 
和 650 户 家 庭 组 成 。 其 典型 的 调节 措施 包括 : 冷库 负荷 随 着 电价 和 风力 发 电 的 出 力 波动 进 
行 自动 功率 调节 ， 真 正 实现 面向 用 电 的 发 电 和 面向 发 电 的 用 电 这 两 者 的 深度 融合 ; 引入 
分 段 电价 和 动态 电价 相 结 合 的 政策 ，8:00 一 20:00 点 之 间 基 准 电价 为 39.8 欧 分 ， 其 余 时 间 为 
11.7 欧 分 ， 在 8:00 一 20:00 点 会 根据 负荷 和 新 能 源 发 电 的 情况 来 制定 优惠 电价 和 高 峰 电价 ; 
引入 虚拟 电厂 的 概念 ， 对 多 种 类 型 的 分 布 式 电 源 和 负荷 情况 进行 集中 管理 。 通 过 以 上 分 析 
可 以 得 出 ，eTelligence 项 目 运用 互联 网 技术 构建 一 个 复杂 的 能 源 调 节 系 统 ， 利 用 对 负荷 的 
调节 来 平抑 新 能 源 出 力 的 间歇 性 和 波动 性 ， 提 高 对 新 能 源 的 消 纳 能 力 ， 构 建 一 个 区 域 性 的 
一 体 化 能 源 市 场 。 

经 过 几 年 的 运行 ，eTelligence 取 得 了 较 好 的 经 济 效益 和 社会 效益 ， 主 要 体现 在 ， 虚拟 
电厂 的 运用 减少 了 16% 的 由 于 风电 出 力 不 确 定性 造成 的 功率 不 平衡 问题 ， 分 段 电价 使 家 
庭 节约 了 13% 的 电能 ， 动 态 电价 使 电价 优惠 期 间 负荷 增长 了 30%， 高 峰 电 价 时 段 负 荷 减少 
了 20%; 虚拟 电厂 作为 电能 的 生产 消费 者 ， 根 据 内 部 电量 的 供求 关系 与 区 域 售 电 商 进行 
交易 ， 可 以 降低 8% 一 10% 的 成 本 ， 以 热 为 主动 的 热电 联 产 作为 电能 的 生产 者 实现 电力 
的 全 量 销售 ， 在 虚拟 电厂 的 调节 下 ， 其 利润 也 有 所 增加 ; 基于 eTelligence 项 目 设 计 的 
Open IEC 61850 通 信 规 约 标准 已 被 德国 业内 所 认可 。 

在 eTelligence 项 目 中 ， 组 合 利用 可 再 生 能 源 与 可 变 热 需 求 的 虚拟 电厂 具有 更 高 的 可 控 
性 ， 相 较 而 言 ， 热 电 联 产 系统 更 难 做 出 以 市 场 交易 为 先 的 判断 。 我 国 可 以 在 此 项 目的 基础 
上 做 出 改进 ， 使 热电 联 产 系统 不 是 作为 发 电 设备 单独 参与 市 场 交 易 ， 而 是 作为 虚拟 电厂 统 
一 进行 控制 ， 这 样 做 的 好 处 是 在 冬季 或 其 他 热 需 求 量 较 大 的 时 候 ， 更 易 实 现 灵活 控制 。 


2. E-DeMa 项 上 日 


E-DeMa 项 目 选 址 于 莱茵 - 鲁 尔 区 的 米尔 海 姆 和 克 雷 菲尔德 两 座 城市 ， 侧 重 于 差异 化 电 
力 负荷 密度 下 的 分 布 式 能 源 社区 建设 ， 基 本 手段 是 将 用 户 、 发 电 商 、 售 电 商 、 设 备 运营 商 
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等 多 个 角色 整合 到 一 个 系统 中 ， 并 进行 虚拟 的 电力 交易 ， 交 易 内 容 包括 电量 和 备用 容量 。 
E-DeMa 项 目 共 有 700 个 用 户 参 与 ， 其 中 13 个 用 户 安 装 了 微型 热电 联 产 装 置 。E-DeMa 项 目 
的 核心 是 通过 “智能 能 源 路 由 器 ”来 实现 电力 管理 ， 既 可 以 实现 用 电 智 能 监控 和 需求 响 
应 ， 也 可 以 调度 分 布 式 电力 给 电网 或 社区 其 他 电力 用 户 。“ 智 能 能 源 路 由 器 ”由 光伏 逆 变 
器 、 家 庭 储 能 单元 或 智能 电表 组 合 而 成 ， 根 据 电厂 发 电 和 用 户 负 荷 情况 ， 以 最 佳 路 径 选择 
和 分 配 电 力 传输 路 由 ， 传 输电 力 。 对 于 接收 到 的 电能 ， 能 源 路 由 器 都 会 重新 计算 网 络 承载 
和 用 户 负荷 变化 情况 ， 分 配 新 的 物理 地 址 ， 对 其 传输 发 送 。 对 于 结构 复杂 的 网 络 ， 使 用 能 
源 路 由 器 可 以 提高 网 络 的 整体 效率 ， 保 障 电网 的 安全 稳定 。 


3. Meregio 项 目 


Meregio 项 目 开 展 于 德国 南部 格 平 根 和 弗 莱 阿 姆 特 两 个 有 较 发 达 工商 业 的 乡村 小 城 。 这 两 
个 小 城 忆 有 大 量 的 分 布 式 可 再 生 能 源 接 入 到 配 电 网 中 ， 由 于 配 电网 的 网 架 结构 比较 薄弱 ， 分 
布 式 电源 的 接 入 引起 了 电网 一 系列 的 问题 。 故 此 项 目 旨 在 通过 感知 每 一 位 用 户 的 负荷 ， 定 位 
配 电 网 中 最 薄弱 的 环节 ， 更 好 地 预测 、 配 置 资源 ， 从 而 降低 电网 的 拥堵 ， 提 高 配 电 网 的 运 
行 效率 。 共 有 1000 个 工商 业 和 家 庭 用 户 参 与 了 此 项 目 。Meregio 项 目的 主要 措施 有 : 

(1) 在 电价 方面 ， 引 入 红绿灯 电价 制度 ， 在 这 种 制度 中 红色 表示 高 电价 ， 黄 色 代表 
中 等 电价 ， 绿 色 表 示 低 电价 。 在 最 初 的 3 个 月 内 ， 用 户 看 到 电价 由 红色 变 为 绿色 ， 会 增加 
25% 一 35% 的 用 电 ， 由 黄色 变 成 绿色 了 ， 会 增加 10% 一 22% 的 用 电 。3 个 月 后 用 户 用 电 变 化 
幅度 逐渐 下 降 并 达到 一 个 稳 态 ， 由 红色 变 为 绿色 时 会 增加 7% 一 12% 用 电 ， 黄 色 变 为 绿色 
时 增加 4% 一 7% 的 用 电 。 

(2) 在 用 户 负荷 曲线 的 定制 方面 ， 智 能 电表 将 把 用 户 的 实时 负荷 数据 上 传 到 EnBW 
数据 中 心 ， 一 段 时 间 后 会 根据 统计 方法 建立 每 个 家 庭 的 负荷 特征 曲线 ， 使 电网 运营 商 能 更 
准确 地 预测 每 一 个 点 每 一 个 用 户 的 负荷 情况 ， 进 而 计算 出 配 电网 的 负荷 情况 ， 定 位 配 电 网 
薄弱 环节 ， 采 用 可 视 化 技术 进行 展示 。 当 用 户 用 电 行 为 反常 时 ， 用 户 会 在 个 人 账户 中 里 收 
到 提醒 。 

(3) 在 设备 改造 方面 ，Meregio 项 目 在 变电站 中 安装 了 可 变 变 压 器 ， 根 据 低压 网 中 馈 
入 的 可 再 生 能 源 的 电力 情况 来 调整 变压器 ， 从 而 稳定 中 压 网 的 电压 水 平 ， 可 变 变压器 的 引 
入 使 分 布 式 能 源 消 纳 能 力 提高 了 近 一 倍 。 


4. Moma 项 目 


Moma 项 目 进行 于 德国 南部 的 工业 城市 曼 海 姆 ， 这 里 有 着 众多 的 卫星 城市 ， 且 能 源 供 
给 很 大 程度 上 来 自 于 分 布 式 能 源 。Moma 项 目 是 典型 的 能 源 互 联网 示范 项 目 ， 其 主要 目标 
是 为 能 源 生产 者 、 消 费 者 和 网 络 运营 者 构建 一 个 虚拟 能 源 市 场 ， 进 而 研究 消费 者 对 能 源 利 
用 效率 的 影响 程度 。 在 这 种 能 源 市 场 中， 消费 者 被 置 于 核心 地 位 ， 有 权 获知 如 何 降低 能 源 
消耗 和 支出 。Moma 项 目 主要 分 为 3 个 阶段 ， 试 验 ] 为 前 期 准备 阶段 ， 为 后 续 试 验 测 试 技术 
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的 可 实现 性 ;试验 2 为 实际 试验 阶段 ， 对 一 种 名 为 “能 源 管家 ”的 新 系统 进行 测试 ， 这 种 
新 系统 可 实现 自动 开 闭 电器 ; 在 试验 3 中 ， 智 能 电表 、“ 能 源 管家 ”和 门户 网 站 三 者 协调 
配合 ， 向 参与 客户 提供 更 为 自由 多 样 的 电价 选项 ， 鼓 励 其 在 非 高 峰 时 间 用 电 。 

Moma 项 目的 主要 贡献 是 提出 了 细胞 电网 的 概念 ， 并 将 细胞 电网 分 为 3 个 层级 : 物体 细 
胞 、 配 电网 细胞 和 系统 细胞 。 细 胞 电网 中 的 每 层 细胞 能 够 自行 优化 ， 尝 试 平衡 和 调整 。 细 
胞 与 上 级 细胞 之 间 通 过 PLC 通 信 ， 上 级 细胞 通过 网 络 协 议 (Internet Protocol，IP) 来 识别 
下 级 细胞 ， 系 统 细胞 对 电网 具有 调度 和 控制 作用 ， 进 而 完备 电力 市 场 交易 。 对 于 系统 细胞 
来 说 ， 只 用 关心 配 电网 细胞 提供 的 接口 量 ， 而 不 用 关心 每 个 家 庭 用 户 中 的 光伏 板 和 家 电 。 
在 物体 细胞 和 配 电网 细胞 平衡 过 一 轮 之 后 留 下 的 残余 功率 不 平衡 由 系统 细胞 去 调度 和 补 
足 。 将 电网 进行 细胞 划分 的 优点 总 结 如 下 : 

@ 尽量 使 得 能 源 就 近 消 纳 ， 减 小 输送 损耗 。 

@ 保障 电网 的 安全 ， 当 一 个 细胞 电网 崩溃 时 ， 不 至 于 使 大 电网 崩溃 ， 可 以 立即 拉 停 

细胞 电网 并 快速 重新 启动 。 

@ 降低 了 由 于 大 量 分 布 式 设备 引起 的 电网 管理 复杂 度 ， 分 区 分 层 适 合 未 来 能 源 发 展 

@ 分 布 式 数据 处 理 与 储存 ， 提 高 了 数据 处 理 的 实时 性 。 

@ 有 些 细胞 有 时 可 保证 自给 自足 ， 形 式 上 可 以 与 上 级 网 络 脱 离开 来 。 

显然 ， 每 一 层级 的 细胞 电网 电能 质量 、 电 压 、 频 率 、 相 角 都 要 保证 在 一 定 的 范围 内 
因此 细胞 电网 的 架构 对 电力 生产 比 传统 的 电网 有 更 高 的 要 求 。 


S. Smart Watts 项 目 


共有 250 个 家 庭 参与 了 位 于 亚 琛 的 Smart Watts 项 目 ， 其 目标 是 运用 高 端 成 熟 的 ICT 技 术 
来 追踪 电力 从 生产 到 消耗 价值 链 中 的 每 一 步 ， 进 而 向 用 户 传达 其 所 用 的 电力 来 源 以 及 用 户 
所 用 电器 的 电力 消耗 水 平 。 消 费 者 通过 智能 电表 来 获知 实时 变化 的 电价 ， 根 据 电 价 高 低 来 
调整 家 庭 用 电 方案 和 电动 车 充电 方案 。 用 户 可 以 自由 选择 自己 的 电费 套餐 ， 套 餐 中 的 电价 
也 是 分 时 电价 。 通 过 智能 插座 获知 的 数据 ， 用 户 不 仅 可 以 在 电子 设备 上 查看 每 个 用 电 设备 
用 了 多 少 电 ， 还 可 以 查看 用 了 多 少 钱 的 电 ; 也 可 以 通过 应 用 程序 控制 家 电 开 关 ， 通 过 设 定 
参数 让 程序 自动 决定 家 电 的 运行 。 实 际 试验 的 数据 结果 表明 : 在 价格 最 低 的 时 段 ， 用 电 负 
荷 上 升 了 10%; 在 价格 最 高 的 时 段 ， 负 荷 下 降 了 5%。 

Smart Watts 项 目的 另外 一 个 亮点 是 设计 了 EEBus。 针 对 智能 家 具 中 各 个 电气 设备 之 间 
存在 多 种 通信 标准 的 问题 ，EEBus 作 为 一 个 通信 的 翻译 器 应 运 而 生 ， 能 够 将 现行 的 通信 标 
准 翻译 给 售 电 商 、 电 网 、 发 电 商 、 用 户 、 家 用 电器 商 等 相关 部 门 。 


6. Reg Mod Harz 项 目 


Reg Mod Harz 项 目 开展 于 德国 的 哈 慈 山区 ， 其 基本 物理 结构 为 2 个 光伏 电站 、2 个 风 
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电场 、1 个 生物 质 发 电 ， 共 86MW 发 电能 力 。 生 产 计划 由 预测 的 日 前 市 场 和 日 内 盘 中 市 
场 的 电价 及 备用 市 场 来 决定 。Reg Mod Harz 项 目的 目标 是 对 分 散 风力 、 太 阳 能 、 生 物质 
等 可 再 生 能 源 发 电 设备 与 抽水 蓄 能 水 电站 进行 协调 ， 令 可 再 生 能 源 联合 循环 利用 达到 最 
优 。 其 核心 示范 内 容 是 在 用 电 侧 整合 了 储 能 设施 、 电 动 汽车 、 可 再 生 能 源 和 智能 家 用 
电器 的 虚拟 电站 ， 包 含 了 诸多 更 贴近 现实 生活 的 能 源 需求 元 素 ， 可 称 为 能 源 互 联网 的 
雏形 。 

Reg Mod Harz 项 目的 主要 措施 是 : 

(1) 建立 家 庭 能 源 管理 系统 ， 家 电能 够 “ 即 插 即 用 ”到 此 系统 上 ， 系 统 根据 电价 决 
策 家 电 的 运行 状态 ， 根 据 用 户 的 负荷 也 可 以 追踪 可 再 生 能 源 的 发 电量 变化 ， 实 现 负 荷 和 新 
能 源 发 电 的 双向 互动 。 

(2) 配 电网 中 安装 了 10 个 电源 管理 单元 ， 用 以 监测 关键 节点 的 电压 和 频率 等 运行 指 
标 ， 定 位 电网 的 薄弱 环节 。 

(3) 光伏 、 风 机 、 生 物质 发 电 、 电 动 汽车 和 储 能 装置 共同 构成 了 虚拟 电厂 ， 参 与 电 
力 市 场 交 易 。 

Reg Mod Harz 项 目的 典型 成 果 包含 3 个 方面 : 

(1) 开发 设计 了 基于 Java 的 开源 软件 平台 OGEMA， 对 外 接 的 电气 设备 实行 标准 化 的 
数据 结构 和 设备 服务 ， 可 独立 于 生产 商 支 持 建筑 自动 化 和 能 效 管理 ， 能 够 实现 负荷 设备 在 
信息 传输 方面 的 “ 即 插 即 用 ”。 

(2) 虚拟 电厂 直接 参与 电力 交易 ， 丰 富 了 配 电网 系统 的 调节 控制 手段 ， 为 分 布 式 能 
源 系统 参与 市 场 调节 提供 了 参考 。 

(3) 基于 哈 慈 地 区 的 水 电 和 储 能 设备 调节 ， 很 好 地 平抑 了 风机 、 光 伏 等 功率 输出 的 
波动 性 和 不 稳定 性 ， 有 效 论证 了 对 于 可 再 生 能 源 较为 丰富 的 特区 ， 在 区 域 电 力 市 场 范 围 内 
实现 100% 清 洁 能 源 供 能 是 完全 可 能 实现 的 。 


7. IRENE 项 目 


IRENE 项 目 开展 于 德国 南部 的 维尔 德 博 尔 茨 里 德 小 镇 ， 其 核心 目标 是 整合 可 再 生 能 源 
和 电动 汽车 ， 建 立 独立 的 能 源 供 应 系统 。 其 主要 的 措施 如 下 。 

(1) 在 每 个 配 电台 区 、 充 电 桩 、 用 户 端 安装 实时 测量 和 控制 设备 ， 用 于 统一 协调 电 
力 生 产 、 电 动车 充 放电 以 及 用 户 负荷 。 

(2) 在 光伏 电站 安装 可 远程 控制 的 逆 变 器 ， 以 维持 一 定 的 无 功 功率 。 

(3) 变电站 安装 可 远程 控制 的 可 调 变压器 ， 用 来 维持 电压 稳定 。 

(4) 西门 子 公司 开发 了 一 套 统一 的 区 域 中 心 电 网 自 适 应 调节 系统 ， 用 于 维持 配 电 系 
统 的 安全 稳定 。 

(5) 每 个 家 庭 都 安装 了 用 户 能 源 管理 系统 ， 负 责 用 户 端的 能 源 生产 、 储 在、 消耗 ， 
并 与 中 心 电 网 控制 系统 响应 。 


加 加 本 本 时 其 于 大 数据 的 智 菇 电网 技术 


IRENE 项 目的 主要 运行 经 验 如 下 。 

(1) 大 量 分 布 式 能 源 的 接 入 ， 需 要 实时 了 解 配 电网 的 运行 状态 ， 配 电网 需要 可 视 化 
和 透明 化 。 

(2) 能 源 消费 终端 和 区 域 控 制 中 心 相 结合 的 分 层 分 布 式 控制 系统 ， 是 未 来 区 域 能 源 
系统 的 典型 模式 。 

(3) 储 能 是 消 纳 大 规模 可 再 生 能 源 接 入 的 关键 ， 从 经 济 性 角度 出 发 ， 电 池 储 能 仍然 
具有 较 大 优势 。 


事实 上 德国 能 源 互 联网 示范 工程 的 建设 是 一 个 逐步 推进 的 过 程 ，Peer Energy Cloud、 
ZESMIT、Future Energy Grid 和 Web2 Energy 等 示范 工程 也 取得 了 较为 理想 的 结果 。 


4.3 日 本 智慧 能 源 发 展 动向 


日 本 是 亚洲 地 区 较 早 将 智慧 能 源 升 级 为 国家 战略 的 国家 ， 由 于 日 本 本 土 自然 资源 稀 
缺 ， 其 能 源 安全 问题 较为 突出 ， 并 且 近 年 来 日 本 政府 面临 着 国际 地 位 下 降 、 人 口 结构 老龄 
化 、 社 会 基础 设施 老化 等 诸多 问题 。 为 了 扭转 现状 并 保持 经 济 增长 ， 在 日 本 ， 智 慧 能 源 项 
目 “ 数 字 电网 ”被 提出 ， 将 智慧 能 源 完全 建立 在 信息 互联 网 之 上 ， 用 互联 网 技术 为 其 提供 
信息 支撑 。 日 本 决定 大 力 发 展 智慧 能 源 ， 将 互联 网 技术 与 能 源 产 业 相 结合 ， 提 高 能 源 使 用 
效率 。 

2011 年 日 本 “3。11” 大 地 震 后 ， 核 电 的 大 面积 关 停 导致 日 本 夏季 用 电 高 峰 期 多 地 出 
现 计划 性 限 电 ， 民 众 对 电力 基础 设施 建设 关注 更 多 。 日 本 政府 和 整个 电力 行业 也 都 开始 重 
新 审视 日 本 智能 电网 该 如 何 发 展 ， 对 电力 市 场 自由 化 、 新 能 源 固定 价格 采购 制度 的 争论 和 
关注 也 日 益 增 多 。 早 先 日 本 提出 的 智能 电网 理念 着 重 强 调 进一步 全 面 提升 电网 信息 化 、 智 
能 化 和 互动 化 水 平 ， 积 极 接纳 分 布 式 电源 和 电动 汽车 等 新 型 负荷 。 经 历 “3。 11” 大 地 震 
之 后 ， 日 本 智能 电网 理念 从 功能 形态 和 发 展 重点 方面 得 到 进一步 优化 和 提升 。 同 时 ， 为 了 
重 振 日 本 电力 行业 的 国际 领先 地 位 ， 日 本 政府 牵头 成 立 了 包括 智能 社区 联盟 在 内 的 多 个 行 
业 联 盟 ， 推 动 包括 新 能 源 发 电 技 术 、 储 能 技术 、 电 动 汽车 技术 、 电 力 路 由 器 等 在 内 的 智能 
电网 技术 发 展 和 国际 标准 化 实施 ， 并 开展 了 多 个 智能 电网 示范 工程 。 


4.3.1 相关 政策 体系 和 产业 规划 


日 本 智能 电网 的 政策 体系 可 分 为 战略 与 规划 、 法 律 、 实 施 与 推进 3 类 ， 主 要 政策 都 由 
经 济 产业 省 发 布 ， 部 分 经 内 阁 和 参议 院 审议 后 形成 法 律 生效 。 
日 本 拥有 丰富 的 光 资源 ， 政 府 一 直 出 台 各 项 政策 鼓励 光伏 发 展 。2009 年 ， 日 本 开始 实 
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施 《 太 阳 能 发 电 固定 价格 收购 制度 》， 并 于 2012 年 将 全 额 采购 的 范围 扩大 到 其 他 可 再 生 能 
源 ， 以 鼓励 其 发 展 。2014 年 内 阁 通 过 了 《能 源 基本 计划 》 草 案 ， 将 核电 定位 为 “保障 日 本 
能 源 稳定 供应 的 重要 基础 能 源 ” 的 同时 ， 也 明确 了 加 速 可 再 生 能 源 的 利用 ， 将 其 作为 未 来 
实现 能 源 本 土 化 供应 的 重要 手段 。 提 出 了 到 2030 年 12 月 底 将 现在 的 能 源 自给 率 和 化 石 燃料 
的 自主 开发 比率 翻 一 番 的 目标 ， 可 再 生 能 源 和 智能 电网 被 作为 达成 这 一 目标 的 手段 之 一 。 
日 本 内 阁 通 过 《电气 事业 法 》 修 正 案 ， 设 立 了 “ 广 域 系 统 运行 协调 机 构 ”， 旧 在 监督 全 国 
电力 交换 计划 ， 协 调 电力 供 需 ， 确 保 紧 急 情 况 下 的 稳定 供电 ， 这 也 有 益 于 实现 可 再 生 能 源 
在 日 本 全 国 范围 内 的 跨 区 消 纳 。 

2015 年 ， 日 本 经 产 省 提出 可 再 生 能 源 〈 光 伏 、 风 力 、 水 力 、 生 物质 和 地 热 ) 消 纳 量 
2030 年 达到 21% 的 目标 ， 可 再 生 能 源 还 享有 规划 和 调度 优先 权 。 按 照 这 一 估算 ， 预 计 光 伏 
发 电 的 装机 容量 将 达到 6141 万 kW， 发 电量 约 700 亿 kW。h， 在 电力 能 源 构成 中 占 到 7%。 
日 本 十 分 重视 开拓 国际 智能 电网 市 场 ， 和 凭借 技术 优势 ， 参 与 国际 市 场 竞争 。 在 经 产 省 主导 
下 ， 成立 了 智能 社区 联盟 ， 共 有 东芝 、 东 京 电 力 、 丰 田 、 松 下 、 日 立 等 知名 企业 在 内 的 
741 家 企业 和 团体 参加 ， 联 盟 成 立 了 国际 战略 、 国 际 标准 化 、 规 划 、 智 能 住宅 4 个 工作 组 ， 
意 在 积极 关注 国际 智能 电网 动向 ， 推 进 国际 标准 化 ， 掌 握 市 场 主导 权 。 

目前 ， 日 本 4 座 城 市 将 通过 协调 电力 、 热 能 与 运输 方面 的 能 源 使 用 ， 以 期 降低 碳 排 放 
量 ， 并 增加 对 可 再 生 能 源 的 依赖 。 这 四 座 城市 承诺 ， 到 2030 年 ， 使 其 二 氧化 碳 排 放量 削减 
40%， 各 城市 采用 一 种 智慧 能 源 系统 ， 将 超越 美国 以 及 其 他 国家 正在 实施 的 “智能 电网 ” 
工程 。 日 本 经 济 贸易 产业 省 曾 表示 ， 智 能 电网 工程 能 够 管理 用 电 ， 日 本 的 “智慧 能 源 共同 
体 ” 示 范 工程 也 能 管理 能 源 ， 进 行 供 热 与 运输 。 这 项 计划 2010 年 开始 进行 ， 由 日 本 政府 发 
起 ， 以 履行 其 提出 的 在 2020 年 前 使 温室 气体 排放 量 下 降 25% 的 承诺 。 这 项 计划 将 耗资 10 亿 
美元 左右 ， 为 期 5 年 。 为 了 达到 这 个 减 排 目标 ， 将 要 安装 一 些 280 亿 瓦 的 太阳 能 发 电 设 备 ， 
智能 电网 技术 将 帮助 电网 运营 者 容纳 大 量 来 自 太阳 以 及 其 他 可 再 生 能 源 的 电量 。 比 如 ， 当 
空中 有 云层 经 过 或 者 风 的 模式 发 生变 化 时 ， 太 阳 能 或 风能 的 发 电 情 况 将 会 受到 影响 ， 这 个 
信和 号 就 会 被 发 送 到 智能 用 电 设备 上 ， 进 而 使 用 电 设备 暂停 运作 或 者 降低 它们 的 耗 电 量 。 在 
一 个 智慧 能 源 共同 体 中 ， 这 种 适应 性 也 会 扩展 到 对 热能 的 管理 上 ， 一 半 以 上 的 能 源 是 以 热 
能 的 形式 使 用 的 ， 所 以 热能 与 电能 的 整合 显得 非常 重要 。 

管辖 能 源 政策 的 经 济 产 业 省 组 织 了 各 种 委员 会 和 研讨 会 ， 在 大 量 引进 利用 可 再 生 能 源 
客户 的 前 提 下 ， 以 电力 系统 的 对 应 措施 为 中 心 ， 构 筑 “ 日 本 型 智能 电网 ”， 为 实现 “新 一 
代 能 源 。 社 会 系统 ”， 发 表 了 以 下 的 构想 和 技术 方案 。 

(1) 新 一 代 输 配 电网 : 通过 新 一 代 智 能 输 配 电 系 统 的 实证 试验 ， 进 行 系统 控制 技 
术 ， 光 伏 发 电 出力 数 据 的 储存 、 分 析 、 孤 岛 型 微 网 的 试点 试验 等 。 

(2) 热能 、 未 利用 能 源 的 有 效 利用 : 构筑 热电 融合 的 控制 系统 ， 根 据 实 证 试验 取得 
的 数据 进行 系统 改良 ， 确 立 最 佳 的 运营 技术 和 方法 。 

(3) 区 域 能 源 管理 ; 建立 在 由 实证 试验 数据 基础 上 的 区 域 能 源 管理 系统 (Energy 
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Management System，EMS) ， 并 对 其 效果 进行 验证 。 

(4) 智能 电表 : 用 于 消费 电力 量 的 可 视 化 ， 与 电费 价目 联动 的 实证 试验 。 

(5) 蓄 电 复 合 系统 : 通过 实证 试验 ， 开 发 可 设置 在 用 户 端的 蓄电池 并 积累 实验 数据 。 

(6) 智能 住宅 。 智 能 家 电 : 对 应 智能 化 运用 的 连接 设备 及 数据 的 标准 化 研究 。 

(7) 零 能 耗 建筑 (Zero-Energy Building，ZEB) : 在 节能 法 规 中 强化 建筑 物 的 节能 
标准 。 

(8) 新 一 代 汽 车 : 到 2020 年 末 ， 新 车 销售 中 约 一 半 为 新 一 代 节能 汽车 。 

(9) 国际 标准 化 : 设立 专门 委员 会 推进 国际 标准 化 。 

(10) 海外 展开 : 和 美国 合作 构筑 新 墨西哥 州 能 源 管理 系统 〈 日 美 智能 电网 共同 实证 
试验 项 目 ) 。 


4.3.2 日 本 智慧 能 源 市 场 规模 


随 着 大 数据 时 代 的 来 临 ， 大 数据 与 智慧 能 源 已 经 上 升 为 日 本 的 国家 战略 。 智 慧 能 源 正 
在 成 为 国家 竞争 的 前 沿 ， 以 及 产业 竞争 力 和 商业 模式 创新 的 源泉 。2020 年 度 日 本 智慧 能 源 
市 场 规模 预计 将 超过 1 兆 日 元 〈 约 680 亿 元 人 民 币 ) 。 

根据 统计 显示 ，2014 年 度 智慧 能 源 产业 规模 约 为 2000 亿 日 元 ， 同 比 增长 约 5%。2015 
年 日 本 智慧 能 源 市 场 规模 约 为 2500 亿 日 元 ，2016 年 的 日 本 智慧 能 源 市 场 规模 大 约 为 3200 
亿 日 元 ，2015 年 以 后 ， 日 本 智慧 能 源 市 场 规模 增长 都 在 20% 以 上 ，2017 年 达到 了 4560 亿 日 
元 ， 预 计 到 2019 年 ， 日 本 智慧 能 源 市 场 规模 将 达 6300 亿 日 元 。 

2017 年 度 以 后 ， 能 源 管理 系统 等 维护 社会 基础 设施 的 系统 需求 将 会 推动 市 场 的 发 展 。 
日 本 Gartner 的 调查 报告 也 指出 ， 大 约 六 成 以 上 的 能 源 相关 企业 目前 正在 积极 考虑 活用 大 数 
据 技 术 ， 将 其 用 于 智慧 能 源 战略 中 。 同 时 ， 预 计 到 2018 年 ， 积 极致 力 于 智慧 能 源 项 目的 日 
本 企业 的 数量 将 增加 一 倍 ， 其 中 七 成 将 有 IT 部 门 之 外 的 经 营 及 事业 部 门 参与 。 

日 本 的 智慧 能 源 战略 ， 以 务实 的 应 用 开发 为 主 ， 尤 其 是 在 将 能 源 和 交通 、 医 疗 、 农 业 
等 传统 行业 结合 方面 ， 日 本 智慧 能 源 应 用 是 可 圈 可 点 的 。 未 来 ， 日 本 智慧 能 源 将 会 进一步 
推广 ， 来 促进 日 本 的 能 源 战略 发 展 。 


4.3.3 日 本 智慧 能 源 典型 案例 


Anuto Grid 是 一 家 提供 智慧 能 源 综合 解决 方案 的 科技 企业 ， 基 于 其 能 源 数 据 平台 ， 为 电 
力 供应 商 和 消费 者 提供 各 种 规模 的 电力 消耗 预测 ， 使 用 该 预测 来 优化 电网 运行 ， 并 通过 灵 
活 的 需求 管理 计划 来 实现 节能 减 耗 。 

Auto Grid 的 核心 为 其 能 源 数据 云 平台 (Energy Data Platform，EDP) 。Anuto Grid 的 能 
源 数据 平台 EDP 创 造 了 电力 系统 全 面 的 、 动 态 的 图 景 ， 通 过 挖掘 电网 产生 的 结构 化 和 非 结 
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构 化 数据 的 财富 ， 进 行 数据 集成 ， 并 建立 其 使 用 模式 ， 建 立定 价 和 消费 之 间 的 相关 性 ， 并 
分 析 数 以 万 计 的 变量 之 间 的 相互 关系 。 通 过 该 能 源 数据 平台 EDP， 公 共事 业 单位 可 以 提前 
预测 数 周 ， 或 只 是 分 、 秒 的 电量 消耗 。 大 型 工业 电力 用 户 可 以 优化 他 们 的 生产 计划 和 作 
业 ， 以 避 开 用 电 高 峰 。 

需求 响应 优化 及 管理 系统 (Demand Response Optimization and Management System， 
DROMS) 为 Auto Grid 的 需求 响应 管理 工具 。DROMS 从 智能 电表 、 建 筑 管理 系统 、 电 压 
调节 器 和 温 控 器 等 设备 获得 实时 数据 ， 形 成 数据 分 析 引 擎 ， 结 合 电力 系统 的 模型 ， 基 于 智 
能 算法 ， 分 析 计 算 对 单一 负荷 的 精确 预测 ， 在 需求 响应 要 求 产生 之 前 介入 ， 迅 速生 成 针对 
某 一 需求 响应 的 应 对 策略 。 

Anuto Grid 的 客户 覆盖 发 电 端 、 输 电 端 、 配 电 端 、 用 户 ， 可 以 帮助 电网 各 端 匹 配 电 力 
供应 和 需求 ， 降 低 电 网 各 端的 成 本 。Anuto Grid 的 能 源 数据 云 平 台 EDP 收 集 并 处 理 其 客户 接 
入 智能 电网 的 智能 电表 、 建 筑 管理 系统 、 电 压 调 节 器 和 温 控 器 等 设备 的 数据 ， 面 向 其 用 电 
客户 提供 需求 响应 优化 及 管理 系统 DROMS， 获 取 能 量 消耗 情况 ， 预 测 用 电量 ， 结 合 电价 
信息 实现 需求 侧 响应 ， 生 成 需求 侧 管理 项 目的 分 析 报告 ， 提 升 客户 全 生命 周期 的 价值 收 
益 ; 面向 电网 运营 者 提供 DROMS， 可 提供 需求 响应 应 对 策略 ， 预 测 发 电 情况 和 电网 动态 
负荷 ， 预 测 电 网 运行 故障 ， 改 善 客户 平均 停电 时 间 和 系统 运营 时 间 ， 从 而 实现 电网 优化 调 
度 ， 减 少 非 技术 性 损失 ， 降 低 运 营 成 本 。 

Anuto Grid 凭借 其 PB 级 的 数据 分 析 和 预测 能 力 ， 吸 引 了 众多 公用 事业 公司 和 软件 产品 
公司 与 其 进行 合作 。 通 过 向 第 三 方 开放 其 能 源 数据 平台 EDP，Anuto Grid 正 努力 将 其 打造 为 
能 源 行 业 大 数据 的 统一 公共 平台 。 该 开放 的 能 源 数据 平台 将 使 得 能 源 “ 大 数据 ”充分 流 
动 ， 各 公共 事业 公司 依托 该 数据 平台 开发 满足 自己 需求 的 第 三 方 应 用 。 通 过 统一 的 能 源 大 
数据 平台 ，Auto Grid 将 规范 能 源 大 数据 的 规范 及 协议 ， 并 将 为 能 源 大 数据 的 发 展 注入 新 的 
推动 力 。 

Anuto Grid 的 收入 主要 来 自 向 采用 其 DROMS 或 其 他 服务 的 用 户 收费 ， 主 要 有 3 种 收费 
模式 。 

(1) SaaS 模 式 : 用 户 按照 Auto Grid 为 其 处 理 的 数据 量 付费 。 

(2) 共享 收益 模式 : Auto Grid 给 客户 发 送 报告 ， 客 户 进行 需求 响应 ， 与 客户 分 享 
收益 。 

(3) 合作 模式 : 给 设备 商 提供 软件 ， 向 设备 商 收取 License 费 。 

未 来 的 智能 电网 将 是 依托 电力 大 数据 处 理 分 析 技 术 的 全 景 实时 电网 。Auto Grid 作为 电 
力 大 数据 服务 的 先行 者 ， 其 商业 模式 和 发 展 思路 将 为 国内 的 电力 大 数据 服务 商 和 初创 公司 
提供 一 定 的 参考 。 


基于 大 数据 的 智慧 电网 技术 


4.4 中国 关 于 智慧 能 源 的 战略 


4.4.1 中 国 智慧 能 源 发 展现 状 


智慧 能 源 是 一 种 全 新 的 能 源 形式 ， 包 括 符合 生态 文明 和 可 持续 发 展 要 求 的 相关 能 源 技 
术 和 能 源 制度 体系 。 结 合 “ 互 联网 +” 来 看 ， 智 慧 能 源 是 一 套 以 能 源 工 业 为 基础 ， 通 过 互 
联网 开放 平台 实现 对 创 能 、 储 能 、 送 能 、 用 能 系统 的 监测 控制 、 操 作 运营 、 能 效 管理 的 综 
合 服务 系统 。 

智慧 能 源 的 一 个 重要 目标 是 提高 能 效 ， 围 绕 这 个 目标 的 技术 创新 贯穿 能 源 生产 到 消费 
的 全 部 环节 。 智 慧 能 源 的 思路 是 基于 能 源 全 产业 链 产生 的 各 种 数据 ， 实 现 相应 的 服务 〈 主 
要 是 节能 减 排 ) 。 这 样 形成 的 产业 创新 包括 新 型 合同 能 源 管理 服务 、 智 慧 能 源 解决 方案 、 
智慧 能 源 大 数据 运营 服务 等 。 

智慧 能 源 的 一 系列 创新 服务 需要 借助 互联 网 来 实现 ， 这 个 互联 网 就 是 能 源 互联 网 。 能 
源 互 联网 应 用 智慧 能 源 标准 ， 将 电 、 水 、 气 等 能 源 数据 化 ， 利 用 IPv6、 大 数据 、 云 计算 等 
互联 网 技术 ， 将 能 源 产 业 互联 网 化 ， 动 态 管理 能 源 生 产 、 传 输 和 消费 ， 达 到 提高 效率 、 节 
能 减 排 等 作用 。 利 用 ICT 技 术 ， 对 能 源 产业 进行 互联 网 化 ， 将 能 源 赋予 新 的 数据 属性 ， 达 
到 能 源 的 经 济 性 、 高 效 性 及 环保 性 。 可 以 预见 ， 能 源 互联 网 通过 新 一 代 信息 通信 技术 与 能 
源 的 完美 结合 ， 势 必 将 产生 一 个 巨大 的 能 量 体 ， 彻 底 改 变 人 们 的 生活 。 

目前 ， 我 国 能 源 行业 改革 进入 深水 期 ， 行 业 调 整 结构 迫切 需求 转型 升级 的 关口 ， 能 源 
企业 纷纷 希望 借助 “互联 网 +” 实 现 改 革 、 开 拓 、 创 新 的 发 展 新 局 面 。“ 互 联网 +” 智 慧 
能 源 是 实现 转型 升级 、 创 新 发 展 的 重要 途径 。“ 互 联网 +” 智 慧 能 源 ， 就 是 以 电力 系统 为 
核心 纽带 ， 构 建 多 类 型 能 源 互 联网 络 ， 即 利用 互联 网 思维 与 技术 来 改造 传统 能 源 行 业 ， 实 
现 横 向 多 源 互补 ， 纵 向 “ 源 一 网 一 荷 一 储 ” 协 调 ， 能 源 与 信息 高 度 融 合 的 新 型 能 源 体系 。 
其 中 ，“ 源 ”是 指 煤炭 、 石 油 、 天 然 气 、 太 阳 能 、 风 能 、 地 热能 等 一 次 能 源 和 电力 、 汽 油 
等 二 次 能 源 ; “网 ”是 指 涵盖 天 然 气 和 石油 管道 网 、 电 力 网 络 等 能 源 传输 网 络 ，“ 荷 ”和 
“ 储 ” 代 表 各 种 能 源 需求 和 存储 设施 。 实 施 “ 源 一 网 一 荷 一 储 ” 的 协调 互动 ， 实 现 最 大 限 
度 消 纳 利 用 可 再 生 能 源 ， 实 现 整个 能 源 网 络 的 “清洁 替代 ”与 “电能 替代 ”， 推 动 整个 能 
源 产 业 的 变革 与 发 展 。“ 互 联网 +” 智 慧 能 源 是 指 能 源 生产 “终端 ”将 变 得 更 为 多 元 化 、 
小 型 化 和 智能 化 ， 交 易 主体 数量 更 为 庞大 ， 竞 争 更 为 充分 和 透明 。 通 过 分 布 式 能 源 和 能 源 
信息 通信 技术 的 飞跃 进步 ， 特 别 是 交易 市 场 平台 的 搭建 ， 最 终 形 成 庞大 的 能 源 市 场 ， 能 源 
流 如 信息 流 一 样 顺畅 自由 配置 。 

智慧 能 源 将 经 历 能 源 本 身 互 联 、 信 息 互 联网 与 能 源 行业 相互 促进 ， 以 及 能 源 与 信息 深 
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度 融 合 3 个 阶段 。 首 先 ， 能 源 本 身 的 互联 阶段 ， 以 电力 系统 为 核心 枢纽 的 多 种 能 源 物理 互 
联网 络 ， 实 现 了 横向 多 源 互补 。 其 次 ， 信 息 互 联网 与 能 源 行业 相互 促进 ， 信 息 指导 能 量 ， 
能 量 提升 价值 。 一 方面 ， 互 联网 催生 了 能 源 领域 新 的 商业 模式 ， 另 一 方面 ， 信 息 的 高 效 流 
动 使 分 散 决策 的 帕 累 托 最 优 替 代 了 集中 决策 的 整体 优化 ， 实 现 资源 配置 更 加 优化 。 最 后 ， 
能 源 与 信息 深度 融合 ， 能 源 生 产 和 消费 达到 高 度 定制 化 、 自 动 化 、 智 能 化 ， 形 成 一 体 化 的 
全 新 能 源 产业 形态 。 

智慧 能 源 是 互联 网 与 传统 行业 融合 发 展 的 新 业态 ， 互 联网 与 诸多 行业 的 融合 ， 将 有 
效 提升 实体 经 济 的 创新 能 力 ， 逐 步 成 为 我 国 经 济 增长 、 结 构 优化 的 新 动力 。 能 源 是 国民 经 
济 的 基础 性 产业 ， 是 经 济 社会 发 展 的 命脉 ， 事 关 国 家 经 济 社会 发 展 全 局 。 在 能 源 行业 改革 
进入 深水 期 ， 在 行业 调整 结构 迫切 需求 转型 升级 的 关口 ， 能 源 行业 迎 来 了 一 次 机 遇 。“ 互 
联网 +” 智 慧 能 源 既 是 能 源 技术 革新 ， 也 是 一 次 能 源 生 产 、 消 费 和 政策 体制 变革 ， 是 推动 
能 源 生 产 和 消费 革命 的 强劲 引擎 ， 更 是 对 人 类 社会 生活 方式 的 一 次 根本 性 革命 。“ 互 联 
网 +” 为 传统 能 源 转型 发 展 提供 了 技术 支撑 ， 从 能 源 生产 到 消费 的 各 个 环节 进行 了 大 的 变 
革 ， 顺 应 能 源 发 展 的 趋势 。 

智慧 能 源 能 有 效 解 决 我 国 面临 的 严峻 的 能 源 与 环境 问题 。 我 国 的 能 源 结构 不 尽 合理 ， 
目前 ， 煤 炭 占 一 次 能 源 消费 比重 高 达 60% 以 上 ， 这 导致 我 国 经 济 社会 发 展 与 能 源 消费 和 环 
境 之 间 的 矛盾 日 益 突出 。 互 联网 与 传统 能 源 的 深入 融合 ， 既 可 提高 可 再 生 能 源 的 入 网 比 
例 ， 实 现 能 源 供给 方式 的 多 元 化 ， 促 进 能 源 结构 优化 ， 也 可 以 实现 能 源 资源 按 需 流动 ， 促 
进 资源 节约 、 高 效 利用 ， 实 现 降低 能 源 消耗 总 量 ， 减 少 污染 排放 。 也 就 是 说 ， 互 联网 和 能 
源 的 高 度 融 合 ， 能 够 最 大 程度 地 提高 能 源 资源 的 利用 效率 ， 降 低 经 济 发 展 对 传统 化 石 能 源 
资源 的 依赖 程度 ， 从 根本 上 改变 我 国 的 能 源 生产 和 消费 模式 ， 有 效 解决 我 国 当 前 能 源 消费 
和 环境 与 经 济 发 展 之 间 的 矛盾 。 

智慧 能 源 能 将 推动 我 国 能 源 行 业 体制 的 变革 。 我 国正 处 在 能 源 产业 结构 调整 以 及 体制 
改革 的 关键 时 期 。“ 互 联网 +” 智 慧 能 源 作为 一 次 能 源 技术 革命 ， 互 联 共享 将 会 从 根本 上 
改变 我 国 的 经 济 产 业 布 局 和 能 源 生产 消费 模式 ， 其 高 度 开放 的 特性 ， 也 会 推动 我 国 能 源 行 
业 体制 的 变革 ， 提 高 我 国 能 源 行 业 的 整体 开放 程度 。“ 互 联网 +” 智 慧 能 源 是 多 类 型 用 能 
网 络 的 多 层 耦 合 ， 电 力作 为 重要 的 二 次 能 源 ， 是 实现 各 能 源 网 络 有 机 互联 的 链接 枢纽 ， 电 
力 互联 是 实现 能 源 互 联 的 重要 途径 。“ 互 联网 +” 智 慧 能 源 的 建设 将 会 最 大 程度 地 推动 当 
前 我 国电 力 工业 体制 改革 进程 ， 加 速 相关 政策 措施 的 完善 以 及 智能 电网 等 技术 手段 的 研发 
速度 ， 从 而 促进 我 国 新 型 电力 工业 体系 的 建设 完善 。 

智慧 能 源 能 够 推动 区 域 间 电 力 资 源 的 协调 互补 和 优化 配置 。 未 来 能 源 互联 网 是 分 布 式 
和 集中 式 相 结合 的 高 度 开放 式 的 能 源 系统 。 面 对 我 国 能 源 生产 与 消费 逆向 分 布 的 格局 ， 未 
来 我 国 能 源 互联 网 的 电力 网 络 结构 应 该 是 大 电网 与 微 电 网 相 结合 的 布局 形式 ， 各 个 区 域 各 
种 形式 可 再 生 能 源 都 能 够 通过 能 源 互联 网 柔性 接 入 ， 从 而 进一步 推动 区 域 间 电 力 资源 的 协 
调 互补 和 优化 配置 。 互 联网 对 电网 跨 区 的 输送 能 力 、 经 济 输送 距离 、 网 架 结构 等 方面 提出 
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了 更 高 的 要 求 ， 对 电力 输送 网 络 的 合理 布局 是 实现 跨 区 域 能 源 互联 的 重要 保障 。 另 外 ， 依 
托 于 互联 网 ， 分 布 式 电源 与 微 电 网 也 是 优化 电力 资源 配置 的 重要 手段 。 微 电网 凭借 其 灵活 
的 运行 方式 、 能 量 梯级 利用 、 提 供 可 定制 电源 等 特性 ， 能 够 协调 控制 分 布 式 电源 、 储 能 与 
需求 侧 资源 ， 从 而 保证 分 布 式 可 再 生 能 源 的 并 网 需求 。 

智慧 能 源 是 保证 我 国 能 源 安 全 的 需要 。 随 着 我 国 经 济 社 会 的 发 展 以 及 传统 化 石 能 源 的 
日 益 枯竭 ， 我 国 能 源 依赖 进口 的 比重 越 来 越 大 ， 在 周边 政治 环境 不 稳定 的 情况 下 ， 我 国 的 
能 源 安全 问题 无 法 得 到 保障 。 互 联网 和 能 源 的 深度 融合 ， 是 从 根本 上 保证 能 源 安全 的 有 效 
途径 之 一 。 一 是 通过 互联 网 ， 可 将 能 源 密度 较 低 的 可 再 生 能 源 实现 就 近 配 置 ， 降 低 我 国 对 
国外 能 源 资源 的 依赖 程度 ， 二 是 互联 网 具有 更 大 范围 的 能 源 资源 的 调控 和 整合 能 力 ， 可 大 
大 提高 能 源 资源 供给 的 灵活 性 和 弹性 ， 有 效 避 免 能 源 系 统 受到 大 的 冲击 ; 三 是 利用 互联 网 
信息 沟通 的 即时 性 特征 ， 政 府 既 可 通过 能 源 数据 分 析 研 究 的 结果 ， 与 公众 在 能 源 安全 状况 
等 方面 做 到 公开 透明 的 沟通 和 交流 ， 降 低能 源 安全 对 经 济 社会 的 不 稳定 影响 ， 同 时 ， 还 可 
利用 互联 网 和 大 数据 的 结果 ， 对 危及 国家 能 源 安全 的 各 方面 因素 进行 识别 ， 从 而 提高 我 国 
的 能 源 安 全 管理 和 预警 水 平 。 

在 未 来 10 年 ， 能 源 互联 网 的 市 场 规模 将 超过 20 万 亿 元 人 民 币 。 目 前 ， 我 国 的 智慧 能 
源 进程 和 能 源 互 联网 的 推进 工作 进展 顺利 。 以 时 间 先 后 为 序 ，2013 年 11 月 “智慧 能 源 产业 
技术 创新 战略 联盟 ”成 立 ，2015 年 2 月 “全 国 智慧 能 源 公共 服务 云 平台 ”启用 ，2015 年 3 月 
IEEE 1888 被 ISO/TEC 纳 为 能 源 互联 网 产业 国际 标准 ， 智 慧 能 源 产业 正 一 步 一 个 脚印 朝 着 建 
立 可 持续 发 展 的 能 源 体系 的 远大 目标 迈进 。 

目前 ， 基 于 IEEE 1888 标 准 的 产业 链 已 经 形成 。 在 产业 链 上 游 有 Intel、Cisco、 中 国电 
信 、 中 科 软 等 企业 加 入 ， 为 产业 链 提供 支持 IEEE 1888 标 准 的 软件 、 硬 件 和 解决 方案 ， 打 
破 了 过 去 一 些 企业 利用 私有 协议 和 垂直 产业 链 对 市 场 的 垄断 ;中 下 游 ， 有 哲 达 、 积 成 电 
子 、 中 能 兴 科 、 华 源 泰 盟 、 澄 光 通 讯 等 一 大 批 企业 组 成 的 智慧 能 源 创新 产业 群 和 新 型 节能 
技术 服务 产业 群 ， 为 最 终 用 户 提供 更 高 效 低 价 、 更 公开 透明 的 新 型 能 源 管理 解决 方案 。 


4.4.2 ”中 国 智 慧 能 源 政策 分 析 


2015 年 6 月 24 日 的 国务 院 常务 会 议 ， 重 点 之 一 的 议题 锁定 在 了 “互联 网 +” 领 域 ， 除 去 
之 前 “互联 网 + 外 贸 ” 等 议题 之 外 ， 首 次 全 面 、 系 统 地 围绕 “互联 网 +” 进 行 制度 议事 。 此 
次 会 议 上 ， 互 联网 + 的 顶层 设计 也 获 审议 通过 。 

智慧 能 源 应 该 整 全 通道、 网关、 平台、 终端 、 信 息 安 全 等 国际 化 资源 ， 将 水 、 电 、 
气 、 热 等 能 源 数据 网 络 化 ， 应 用 物 联网 、 云 计算 、 大 数据 等 先进 技术 ， 面 向 能 源 行业 和 节 
能 环保 行业 ， 向 用 能 单位 、 关 键 用 能 设备 和 节能 工程 项 目 等 提供 全 面 、 丰 富 、 专 业 的 云 一 
管 一 端 服务 。 升 级 为 能 源 互联 网 的 能 源 产业 将 带动 20% 以 上 的 产业 增 速 ， 并 实现 生产 力 水 
平 提高 、 经 济 结构 转型 等 一 系列 巨大 的 经 济 、 社 会 、 民 生效 益 ， 同 时 还 将 带动 整个 关联 产 
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业 的 发 展 。 占 国内 GDP20% 以 上 的 能 源 产业 互联 网 化 后 ， 在 未 来 10 年 ， 所 带 来 的 直接 和 附 
带 产 业 价 值 将 超过 20 万 亿 元 人 民 币 ， 也 势必 将 孕育 出 巨头 企业 。 这 将 吸引 全 社会 无 数 企业 
纷纷 布局 智慧 能 源 产 业 ， 激 励 无 数 企业 探索 智慧 能 源 行 业 发 展 的 新 的 商业 模式 ， 营 造 新 的 
价值 链 和 生态 圈 。 

2016 年 国家 能 源 局 提出 《关于 推进 “互联 网 +” 智 慧 能 源 发 展 的 指导 意见 》 以 下 简 
称 《意见 》) ，《 意 见 》 指 出 能 源 互联 网 是 一 种 能 源 产业 发 展 新 形态 ， 相 关 技术 、 模 式 及 
业态 均 处 于 探索 发 展 阶段 。 为 促进 能 源 互联 网 健康 有 序 发 展 ， 近 中 期 将 分 为 两 个 阶段 推 
进 ， 先 期 开展 试点 示范 ， 后 续 进 行 推广 应 用 ， 确 保 取得 实效 。 

2016 一 2018 年 ， 着 力 推进 能 源 互联 网 试点 示范 工作 : 建成 一 批 不 同类 型 、 不 同 规模 的 
试点 示范 项 目 ， 攻 克 一 批 重大 关键 技术 与 核心 装备 ， 能 源 互 联网 技术 达到 国际 先进 水 平 ; 
初步 建立 能 源 互联 网 市 场 机 制 和 市 场 体系 ， 初 步 建成 能 源 互联 网 技术 标准 体系 ， 形 成 一 批 
重点 技术 规范 和 标准 ， 催 生 一 批 能 源 金融 、 第 三 方 综合 能 源 服务 等 新 兴业 态 ， 培 育 一 批 有 
竞争 力 的 新 兴 市 场 主体 ， 探 索 一 批 可 持续 、 可 推广 的 发 展 模式 ， 积累 一 批 重要 的 改革 试点 
经 验 。 

2019 一 2025 年 ， 着 力 推进 能 源 互联 网 多 元 化 、 规 模 化 发 展 ， 初 步 建成 能 源 互联 网 产业 
体系 ， 成 为 经 济 增长 的 重要 驱动 力 ， 建 成 较为 完善 的 能 源 互 联网 市 场 机 制 和 市 场 体系 ， 形 
成 较为 完备 的 技术 及 标准 体系 并 推动 实现 国际 化 ， 引 领 世 界 能 源 互 联网 发 展 ， 形 成 开放 共 
享 的 能 源 互联 网 生态 环境 ， 使 能 源 综合 效率 明显 改善 ， 可 再 生 能 源 比 重 显著 提高 ， 化 石 能 
源 清洁 高 效 利 用 取得 积极 进展 ， 大 众 参与 程度 大 幅 提升 ， 有 力 支撑 能 源 生产 和 消费 革命 。 

《意见 》 另 外 要 求 加 强 能 源 互联 网 基础 设施 建设 ， 建 设 能 源 生产 消费 的 智能 化 体系 、 
多 能 协同 综合 能 源 网 络 、 与 能 源 系统 协同 的 信息 通信 基础 设施 。 营 造 开 放 共 享 的 能 源 互联 
网 生态 体系 ， 建 立新 型 能 源 市 场 交易 体系 和 商业 运营 平台 ， 发 展 分 布 式 能 源 、 储 能 和 电动 
汽车 应 用 、 智 慧 用 能 和 增值 服务 、 绿 色 能 源 灵活 交易 、 能 源 大 数据 服务 应 用 等 新 模式 和 新 
业态 。 推 动能 源 互联 网 关键 技术 攻关 、 核 心 设备 研发 和 标准 体系 建设 ， 促 进 能 源 互 联网 技 
术 、 标 准 和 模式 的 国际 应 用 与 合作 。 

鼓励 建设 智能 风电 场 、 智 能 光伏 电站 等 设施 及 基于 互联 网 的 智慧 运行 云 平台 ， 实 现 可 
再 生 能 源 的 智能 化 生产 。 鼓 励 用 户 侧 建设 冷 热电 三 联 供 、 热 泵 、 工 业余 热 余 压 利用 等 综合 
能 源 利用 基础 设施 ， 推 动 分 布 式 可 再 生 能 源 与 天 然 气 分 布 式 能 源 协同 发 展 ， 提 高 分 布 式 可 
再 生 能 源 综合 利用 水 平 。 促 进 可 再 生 能 源 与 化 石 能 源 协 同 生产 ， 推 动 对 散 烧 煤 等 低 效 化 石 
能 源 的 清洁 替代 。 建 设 可 再 生 能 源 参与 市 场 的 计量 、 交 易 、 结 算 等 接 入 设施 与 支持 系统 。 

鼓励 煤 、 油 、 气 开采 、 加 工 及 利用 全 链条 智能 化 改造 ， 实 现 化 石 能 源 绿 色 、 清 洁 和 高 
效 生产 。 鼓 励 建设 与 化 石 能 源 配套 的 电 采 暖 、 储 热 等 调节 设施 ， 鼓 励 发 展 天 然 气 分 布 式 能 
源 ， 增 强 供 能 灵活 性 、 和 柔性 化 ， 实 现 化 石 能 源 高 效 梯级 利用 与 深度 调 峰 。 加 快 化 石 能 源 生 
产 监 测 、 管 理 和 调度 体系 的 网 络 化 改造 ， 建 设 市 场 导 向 的 生产 计划 决策 平台 与 智能 化 信息 
管理 系统 ， 完 善 化 石 能 源 的 污染 物 排放 监测 体系 ， 以 互联 网 手段 促进 化 石 能 源 供需 高 效 匹 
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配 、 运 营 集约 高 效 。 开 发 储 电 、 储 热 、 储 冷 、 清 洁 燃料 存储 等 多 类 型 、 大 容量 、 低 成 本 、 
高 效率 、 长 寿命 储 能 产品 及 系统 。 推 动 在 集中 式 新 能 源 发 电 基地 配置 适当 规模 的 储 能 电 
站 ， 实 现 储 能 系统 与 新 能 源 、 电 网 的 协调 优化 运行 。 推 动 建设 小 区 、 楼 宇 、 家 庭 应 用 场景 
下 的 分 布 式 储 能 设备 ， 实 现 储 能 设备 的 混合 配置 、 高 效 管理 、 友 好 并 网 。 鼓 励 建设 以 智能 
终端 和 能 源 灵活 交易 为 主要 特征 的 智能 家 居 、 智 能 楼 宇 、 智 能 小 区 和 智能 工厂 ， 支 撑 智 慧 
城市 建设 。 加 强 电力 需求 侧 管理 ， 普 及 智能 化 用 能 监测 和 诊断 技术 ， 加 快 工业 企业 能 源 管 
理 中 心 建 设 ， 建 设 基于 互联 网 的 信息 化 服务 平台 。 构 建 以 多 能 融合 、 开 放 共 享 、 双 向 通信 
和 智能 调控 为 特征 ， 各 类 用 能 终端 灵活 融入 的 微 平衡 系统 。 建 设 家 庭 、 园 区 、 区 域 不 同 层 
次 的 用 能 主体 参与 能 源 市 场 的 接 入 设施 和 信息 服务 平台 。 

2017 年 4 月 25 日 国家 发 改 委 和 国家 能 源 局 发 布 《能 源 生产 和 消费 革命 战略 (2016 一 
2030) 》 (以 下 简称 《战略 》) ， 提 出 了 全 面 建设 “互联 网 +” 智 慧 能 源 的 目标 ， 作 为 一 种 
互联 网 与 能 源 生 产 、 传 输 、 存 储 、 消 费 以 及 能 源 市 场 深度 融合 的 能 源 产业 发 展 的 新 形态 ， 
有 报告 预测 ， 中 国 能 源 互 联网 的 总 体 市 场 规模 到 2020 年 将 超过 9400 亿 美元 ， 约 占 当年 GDP 
的 7%。 国 家 电网 等 企业 已 经 提前 布局 。《 战 略 》 提 出 ， 将 从 推进 能 源 生产 智能 化 、 建 设 
分 布 式 能 源 网 络 和 发 展 基于 能 源 互 联网 的 新 业态 三 个 方面 全 面 建设 “互联 网 +” 智 慧 能 
源 。“ 能 源 互 联网 将 从 根本 上 颠覆 传统 的 能 源 系 统 ， 并 从 根本 上 解决 能 源 安全 问题 ， 新 能 
源 在 能 源 互联 网 中 占据 核心 地 位 。 近 十 年 来 ， 我 国 在 新 能 源 产业 发 展 的 诸多 领域 已 经 形成 
了 国家 竞争 优势 ， 政 策 扶持 和 技术 进步 是 新 能 源 行业 未 来 快速 发 展 的 主要 驱动 力 。”《 战 
略 》 提 到 ， 大 力 发 展 智 慧 能 源 技 术 ， 推 动 互联 网 与 分 布 式 能 源 技术 、 先 进 电网 技术 、 储 能 
技术 深度 融合 。 大 规模 储 能 技术 是 保障 可 再 生 能 源 有 效 利 用 、 确 保 电 力 系 统 安全 稳定 运行 
的 关键 技术 ， 规 模 化 储 能 技术 应 用 是 推动 电能 规模 化 替代 化 石 能 源 的 重要 基础 ， 也 是 推动 
能 源 技术 革命 ， 促 进 电力 改革 的 必要 手段 。 而 能 源 互联 网 技术 、 市 场 相关 的 许多 方面 都 离 
不 开 储 能 技术 的 支持 。《 战 略 》 提 出 ， 未 来 实现 增 量 需求 主要 依靠 清洁 能 源 ， 推 动 非 化 石 
能 源 跨越 式 发 展 。 坚 持 分 布 式 和 集中 式 并 举 ， 以 分 布 式 利用 为 主 ， 推 动 可 再 生 能 源 高 比例 
发 展 。 根 据 《 战 略 》， 到 2020 年 ， 我 国 非 化 石 能 源 占 比 将 达到 15%; 到 2030 年 ， 非 化 石 能 
源 占 能 源 消费 总 量 比重 达到 20% 左 右 。 此 外 ， 为 了 推动 能 源 技术 革命 ， 抢 占 科 技 发 展 制 高 
点 ,《 战 略 》 还 提出 ， 强 化 自主 创新 ， 加 快 非 化 石 能 源 开发 和 装备 制造 技术 、 化 石 能 源 清 
洁 开 发 利用 技术 应 用 推广 。 其 中 包括 加 快 大 型 陆地 、 海 上 风电 系统 技术 及 成 套 设备 研发 ， 
推动 低 风 速 、 风 电场 发 电 并 网 技术 攻关 。 加 快 发 展 高 效 太阳 能 发 电 利用 技术 和 设备 ， 重 点 
研发 太阳 能 电池 材料 、 光 电 转换 、 智 能 光伏 发 电站 、 风 光 水 互补 发 电 等 技术 ， 研 究 可 再 生 
能 源 大 规模 消 纳 技术 。 研 发 应 用 新 一 代 海洋 能 、 先 进 生物 质 能 利用 技术 。 


4.4.3 中国 智 慧 能 源 产 业 标准 化 


智慧 能 源 的 核心 是 智能 电网 ， 智 慧 能 源 标准 化 工作 也 不 是 凭空 而 起 、 一 片 空白 。 现 有 
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智能 电网 标准 化 建设 已 经 取得 积极 成 果 ， 国 家 已 经 将 智能 电网 标准 化 纳入 《战略 性 新 兴 
业 标 准 化 发 展 规划 》。 

中 国 智能 电网 标准 体系 框架 已 经 编制 完成 ， 形 成 了 有 9 个 专业 分 支 、25 个 技术 领域 、 
110 个 标准 系列 的 技术 标准 体系 。 针 对 新 能 源 并 网 、 智 能 变电站 、 智 能 调度 、 电 动 汽车 充 
电 设施 建设 等 领域 开展 的 智能 电网 综合 标准 化 试点 工作 获得 国家 批准 。 

在 智能 电网 重点 领域 重点 标准 建设 已 经 取得 突破 ， 风 电 、 光 伏 等 新 能 源 接 入 电力 系统 
标准 已 经 修订 完成 ， 特 高 压 交 直流 标准 体系 已 经 建立 ，GB/T 30155 一 2013《 智 能 变电站 技 
术 导 则 》、IEC 61850 系 列 标准 、 关 键 标准 相继 编制 完成 ， 智 能 电能 表 、 配 电网 自动 化 、 
微 电 网 及 需求 侧 管理 等 重要 标准 正在 稳步 推进 。 

在 国际 标准 化 方面 ， 我 国 成 功 申请 成 立 了 国际 电工 委员 会 智能 电网 用 户 接口 项 目 委 
员 会 、 可 再 生 能 源 接 入 电网 分 技术 委员 会 、 微 电网 系统 评估 组 ， 由 我 国 担任 国际 标准 召集 
人 ， 确 定 了 我 国 在 智能 电网 国际 标准 化 工作 中 的 地 位 。 

目前 ， 国 际 电工 委员 会 (IEC) 主要 针对 智能 电网 出 台 了 一 系列 的 技术 标准 ， 尚 没有 
其 他 国际 标准 化 组 织 明确 提出 智慧 能 源 的 标准 架构 ， 智 慧 能 源 建设 可 以 采用 国际 电工 委员 
会 智能 电网 核心 标准 及 配 电 、 用 电 、 储 能 、 电 力 电 子 、 信 息 和 通信 技术 等 相关 标准 ， 包 括 
电动 汽车 充 放电 设施 、 智 能 家 居 及 设备 间 的 通信 协议 等 相关 技术 标准 ;但 仍 有 一 部 分 标准 
缺失 或 标准 间 协 调 性 不 够 ， 如 分 布 式 能 源 接 入 、 大 容量 化 学 储 能 装置 接 入 等 ， 不 能 满足 智 
慧 能 源 建设 需求 ， 需 要 加 大 工作 力度 。 

智慧 能 源 与 智能 电网 相 比 ， 更 具 系 统 性 ， 复 杂 性 也 更 高 ， 吸 须 统一 规划 和 顶层 设计 。 
目前 ， 智 慧 能 源 在 基本 概念 、 术 语 定义 、 概 念 模型 、 体 系 架 构 、 评 价 指标 等 方面 尚未 形 
成 共识 ， 需 要 从 全 社会 的 层面 对 智慧 能 源 标 准 化 进行 统一 规范 ， 以 支撑 未 来 产业 发 展 的 需 
要 。 智 慧 能 源 标 准 化 工作 在 国际 上 还 处 于 萌芽 状态 ， 我 国 可 以 利用 智能 电网 建设 的 优势 ， 
在 国际 标准 化 上 积极 进取 ， 深 入 参与 国际 标准 制定 工作 ， 实 现在 智慧 能 源 标 准 化 领域 的 中 
国 与 国际 同步 。 

其 中 特别 值得 一 提 的 是 系列 标准 IEEE 1888《 泛 在 绿色 社区 控制 网 络 协议 》。 在 构建 
能 源 互 联网 的 过 程 中 ， 数 以 百 亿 计 的 设备 需要 与 网 络 互联 互通 ， 同 时 这 些 设备 产生 的 海量 
数据 需要 进行 格式 统一 ， 并 最 终 保 证 数据 的 安全 。 在 此 过 程 中 ， 其 标准 的 制定 及 统一 一 直 
是 行业 的 关键 问题 。 

为 解决 设备 与 设备 、 设 备 与 网 络 、 信 息 与 数据 间 存 在 的 “孤岛 ”问题 ， 最 终 实现 能 
源 互 联网 产业 的 全 球 部 署 ， 由 我 国 主导 的 全 球 能 源 互联 网 首 个 国际 标准 IEEE 1888 应 运 
而 生 。 

目前 ， 它 已 作为 能 源 互联 网 产业 入 口 的 重要 标准 受到 全 球 关 注 。 标 准 IEEE 1888《 泛 
在 绿色 社区 控制 网 络 协 议 》 于 2015 年 3 月 2 日 正式 获得 国际 标准 化 组 织 ISO/IEC 通 过 。 该 标 
准 采用 全 IP 的 思路 ， 深 度 融 合 IPv6、 物 联网 、 云 计算 等 信息 通信 技术 ， 构 建 了 一 个 开放 的 
能 源 互 联网 体系 ， 可 广泛 应 用 于 智慧 能 源 网 络 ， 包 括 下 一 代 电力 管理 系统 、 楼 宇 能 力 管理 
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系统 、 设 施 设备 管理 系统 等 领域 的 通信 。 

智慧 能 源 作为 能 源 和 电力 技术 发 展 的 重要 方向 ， 将 带动 技术 的 进步 和 产业 的 发 展 。 规 
范 统一 的 标准 体系 是 支撑 产业 发 展 的 基本 条 件 ， 是 实现 复杂 系统 建设 的 保障 。 建 立 智 慧 能 
源 的 技术 标准 体系 ， 制 定 智 慧 能 源 的 核心 技术 标准 ， 规 范 和 指导 关键 设备 的 研制 ， 引 导 并 
发 展 部 分 关键 技术 标准 成 为 国际 智慧 能 源 的 技术 标准 ， 是 智慧 能 源 标准 化 的 重要 工作 。 智 
慧 能 源 的 标准 体系 需要 与 智慧 能 源 的 技术 和 产业 的 发 展 相 适 应 ， 应 满足 系统 性 、 协 调 性 、 
兼容 性 、 自 主 性 和 开放 性 原则 ， 符 合 结构 合理 、 层 次 清楚 、 履 盖 全 面 、 相 互 协调 、 适 应 需 
求 等 要 求 ， 对 能 源 互 联网 技术 和 管理 以 及 试验 、 认 证 、 评 估 进 行 合 理 规 范 和 科学 引导 。 

与 智能 电网 、 智 慧 城市 和 物 联 网 相 比 ， 智 慧 能 源 的 系统 性 更 强 ， 复 杂 性 更 高 ， 需 要 从 
全 社会 层面 对 智慧 能 源 的 基本 概念 、 体 系 架构 和 评价 指标 等 方面 形成 共识 ， 以 支撑 未 来 
产业 的 发 展 。 近 几 年 来 ， 国 内 外 标准 化 组 织 在 与 智慧 能 源 相关 的 技术 领域 开展 了 标准 体 
系 研 究 。 

IECSG3 致 力 于 智能 电网 标准 体系 的 研究 和 建设 ， 开 发 了 智能 电网 模型 架构 和 标准 
体系 ， 于 2010 年 发 布 了 《IEC 智 能 电网 标准 化 路 线 图 》v1.0， 将 IEC 61850、IEC 61970、 
IEC 61968 等 确立 为 智能 电网 核心 标准 ， 国 家 电网 发 布 了 智能 电网 技术 标准 ， 涵 盖 了 发 
电 、 输 电 、 变 电 、 配 电 、 用 电 、 调 度 、 信 息 通 信 、 综 合 规划 8 个 专业 方向 ，26 个 技术 领 
域 ， 总 计 92 个 标准 系列 ， 美国 国家 标准 与 技术 研究 院 (National Institute of Standards and 
Technology，NIST) 相继 发 布 了 3 个 版 本 的 《智能 电网 互 操作 标准 框架 和 技术 路 线 图 》， 
审查 并 通过 了 包括 美国 国家 标准 学 会 (American National Standards Institute，ANSI) 、 
IEC、IEEE 等 制定 的 71 个 标准 ， 对 需求 侧 响应 和 能 效 管 理 、 储 能 、 电 气 化 交通 、 高 级 量 测 
体系 (Advanced Metering Infrastructure，AMI) 、 配 电 管 理 系统 (Distribution Management 
System，DMS) 、 安 全 、 通 信 、 广 域 状态 监视 8 个 优先 技术 领域 推荐 了 25 个 技术 标准 。 

此 外 ， 在 互联 网 、 智 慧 城 市 、 物 联网 等 与 能 源 互 联网 密切 相关 的 技术 领域 ， 国 际 标准 
组 织 、 主 要 国家 的 标准 组 织 也 开展 了 标准 研究 ， 制 定 了 一 系列 标准 。 通 过 上 述 工 作 ， 产 生 
了 大 量 的 国际 标准 、 区 域 标准 、 国 家 标准 、 行 业 标准 和 企业 标准 。 智 慧 能 源 标 准 体系 要 以 
上 述 标准 为 基础 ， 做 进一步 的 梳理 和 拓展 开发 工作 。 


4.4.4 中国 智 慧 能 源 的 发 展 趋势 


“互联 网 +” 智 慧 能 源 是 一 种 能 源 产 业 发 展 新 形态 ， 相 关 技 术 、 模 式 及 业态 均 处 于 探 
索 发 展 阶段 。 国 家 已 经 出 台 了 “互联 网 +” 行 动 计划 、“ 互 联网 +” 智 慧 能 源 指 导 意见 等 政 
策 ， 鼓 励 利 用 互联 网 理念 积极 探索 能 源 互联 网 与 不 同行 业 融 合 发 展 的 新 途径 ， 鼓 励 利 用 互 
联网 手段 ， 在 大 型 建筑 、 场 馆 、 园 区 、 岛 屿 、 城 镇 等 不 同 规模 范围 内 开展 能 源 互联 网 技术 
应 用 、 商 业 模式 和 政策 创新 试点 。 内 容 包 括 多 能 协同 能 源 网 络 优化 建设 与 协同 运营 、 清 洁 
能 源 互联 网 化 交易 、 绿 色 货 币 与 绿色 证 书 等 能 源 衍 生 品 交易 运营 管理 、 电 动 汽车 与 储 能 互 
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联网 化 运营 、 能 源 大 数据 应 用 服务 等 。 

长 期 来 看 ， 未 来 能 源 中 起 主导 作用 的 将 是 可 再 生 能 源 。 而 依靠 能 源 互联 网 技术 ， 可 以 
大 大 降低 (甚至 消除 ) 因 可 再 生 能 源 发 电 的 波动 性 对 电网 安全 稳定 运行 带 来 的 影响 ， 并 在 
保障 可 再 生 能 源 发 电 优 先 上 网 的 情况 下 实现 电网 运行 的 全 局 性 优化 。 由 此 ，“ 互 联网 + 电 
网 ”将 大 大 促进 可 再 生 能 源 发 电 的 规模 化 发 展 ， 并 将 彻底 改变 现在 的 能 源 结构 ， 而 跨国 能 
源 贸 易 ， 也 将 由 化 石 能 源 通过 管道 和 交通 工具 输送 的 贸易 模式 ， 转 变 成 通过 跨国 电网 输送 
电力 的 模式 。“ 互 联网 + 电网 ”的 发 展 ， 可 以 将 我 国 由 能 源 对 外 依存 度 较 高 的 国家 ， 变 成 
能 源 基本 独立 自主 甚至 能 源 出 口 的 国家 。 

另外 ， 在 提倡 清洁 能 源 的 今天 ， 储 能 技术 的 突破 将 保证 清洁 能 源 的 可 持续 发 展 。 在 能 
源 互联 网 的 背景 下 ， 储 能 将 实现 多 样 化 发 展 。 而 分 布 式 储 能 结合 分 布 式 发 电 、 需 求 响应 、 
电能 辅助 服务 等 ， 未 来 可 能 成 为 应 用 热点 。 能 源 互联 网 的 发 展 对 储 能 的 需求 日 益 迫 切 ， 这 
些 需 求 会 导致 大 幅 增加 对 储 能 技术 研发 的 投入 ， 从 而 正 向 激励 和 推动 储 能 技术 的 发 展 ;而 
储 能 技术 的 发 展 将 推动 实现 局 域 或 区 域 性 的 微型 能 源 互联 网 、 全 国 性 的 能 源 互联 网 乃至 跨 
越 国界 的 能 源 互联 网 络 。 

在 互联 网 时 代 ， 用 户 的 参与 互动 具有 重要 意义 。“ 互 联网 +” 智 慧 能 源 的 本 质 是 以 互 
联网 思维 来 推动 能 源 发 展 ， 它 强调 的 是 需求 的 互联 ， 是 一 种 人 人 参与 、 人 人 尽力 、 人 人 享 
有 的 发 展 理念 。 而 智慧 能 源 是 充分 调动 每 个 人 的 主观 能 动 性 ， 综 合 采用 多 种 方式 提高 能 源 
利用 效率 ， 让 家 家 户 户 都 参与 到 这 场 能 源 变革 中 来 ， 使 能 源 能 够 成 为 每 个 家 庭 的 一 份 未 来 
投资 ， 成 为 大 家 建设 生态 文明 的 通道 。 

能 源 是 国民 经 济 发 展 的 重要 物质 基础 ， 对 经 济 的 发 展 起 着 支撑 与 保障 作用 。 同 时 ， 能 
源 也 是 城市 生产 、 城 市 建设 、 城 市 生活 、 城 市 交通 的 重要 支撑 资源 。《 关 于 推进 “互联 网 +” 
智慧 能 源 发 展 的 指导 意见 》 的 正式 发 布 ， 为 产业 未 来 10 年 的 发 展 指明 了 方向 。 唯 有 通过 多 
种 能 源 优化 互补 ， 特 别 是 新 能 源 的 有 效 供给 、 探 索 推进 “互联 网 +” 智 慧 能 源 ， 实 现 更 为 
高 效 并 可 持续 的 能 源 开发 和 利用 ， 方 有 可 能 破解 能 源 资源 约束 的 传统 路 径 。 

随 着 能 源 互 联网 概念 的 深入 以 及 政策 的 推进 ， 市 场 上 各 类 主体 纷纷 行动 ， 出 现 了 各 种 
形式 的 创新 和 结合 。 目 前 ， 有 如 下 几 种 典型 的 发 展 趋势 。 


1. 传统 能 源 公司 与 大 数据 通信 公司 互相 渗透 


在 政策 的 推动 下 ， 一 方面 传统 能 源 企业 和 互联 网 企业 开始 迅速 寻求 合作 ， 各 种 模式 的 
战略 组 合 不 断 出 现 ， 另 一 方面 传统 能 源 企 业 自身 开始 向 互联 网 企业 转变 ， 互 联网 企业 也 开 
始 向 能 源 企业 转变 ， 形 成 互相 渗透 的 格局 ， 尤 其 是 在 可 再 生 能 源 领 域 ， 光 伏 行业 与 互联 网 
的 结合 是 目前 整合 速度 最 快 的 领域 。 加 速 整合 是 目前 能 源 互联 网 最 主要 的 趋势 。 比 如 一 些 
传统 发 电 企业 开始 与 华为 这 样 的 互联 网 公司 合作 ， 通 过 用 户 大 数据 提炼 出 有 价值 的 信息 ， 
进一步 分 析 典 型 耗 能 用 户 的 需求 、 更 科学 地 做 好 用 能 预测 ， 指 导 发 电 企业 的 战略 布局 。 还 
有 一 类 互联 网 公司 ， 如 阿里 巴巴 网 络 技术 有 限 公 司 〈 以 下 简称 阿里 巴巴 ) ， 在 新 能 源 领 域 
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已 经 与 阳光 电源 、 联 合 光 伏 等 光伏 企业 在 智慧 光伏 电站 、 能 源 互联 网 、 互 联网 金融 、 云 计 
算 、 大 数据 、 信 息 安 全 等 领域 合作 。 在 能 源 基 础 设施 层面 ， 阿 里 巴巴 已 经 与 浙江 省 电力 公 
司 、 深 圳 供电 局 在 能 源 互联 网 、“ 互 联网 +” 城 市 供电 系统 等 领域 合作 。 在 终端 能 源 消费 
方面 ， 开 始 将 电动 汽车 、 家 庭 能 源 管理 纳入 阿里 能 源 云 计划 。 


2. 传统 能 源 公司 开始 向 互联 网 金融 拓展 


金融 行业 在 构建 能 源 互联 网 中 将 扮演 重要 角色 。 金 融 是 实现 能 源 互 联 的 重要 抓 手 ， 从 
先期 的 基础 设施 建设 ， 到 后 期 商业 模式 、 支 付 体系 的 变革 都 离 不 开 金 融资 本 的 深度 介入 与 
助 推 。 许 多 传统 能 源 企业 和 信息 技术 企业 都 看 到 了 互联 网 金融 的 重要 作用 和 发 展 前 景 ， 通 
过 打造 各 种 能 源 互联 网 金融 平台 ， 建 立 起 能 源 行业 ， 特 别 是 光伏 产业 与 金融 资本 对 接 的 桥 
梁 。 民 营 资本 打造 “能 源 + 互 联网 + 金融 ”体系 的 速度 远 远 快 于 国有 能 源 企业 或 电网 企业 ， 
从 2015 年 的 能 源 互 联网 金融 典型 代表 “ 绿 能 宝 ”“ 微 能 云 ”到 “ 国 多 所 ”， 民 营 资本 构建 
的 能 源 互联 网 金融 体系 已 经 越 来 越 成 熟 ， 同 时 也 带动 了 国有 能 源 企业 进军 互联 网 金融 。 


3. 传统 能 源 公司 集体 向 能 源 服务 商 转 型 


在 新 电 改 政策 的 激励 下 ， 传 统 能 源 公司 纷纷 谋求 向 能 源 综合 服务 商 转型 。 当 前 ， 各 类 
能 源 企业 都 开始 成 立 区 域 性 售 电 公司 ， 为 开展 后 续 能 源 服务 做 准备 。 据 不 完全 统计 ， 截 至 
2016 年 5 月 底 ， 全 国 31 个 省 (市 、 区 〉 至 少 成 立 了 559 家 售 电 公司 。 数 量 虽 多 ， 但 都 是 抢占 
市 场 的 心态 ， 运 作 方 式 、 商 业 模 式 都 尚未 真正 建立 起 来 ， 各 售 电 公司 也 都 在 观望 和 摸索 的 
状态 中 。 当 前 一 些 资 源 大 省 对 电 改 热情 高 涨 ， 更 多 是 着 眼 于 降 电 价 红 利 ， 而 不 是 市 场 化 本 
身 。 改 革 实 质 进展 并 不 如 预料 的 那么 迅速 ， 在 实施 过 程 中 各 方 利益 博 弈 重重 。 


4.4.5 中国 智慧 能 源 面 临 的 挑战 


中 国 于 2012 年 推出 首 批 100 个 国家 智慧 城市 试点 ，2016 年 启动 和 在 建 的 智慧 城市 达到 
335 个 。 与 此 同时 ， 中 国 能 源 改革 正 逐 步 近 入 “深水 区 ”， 推 动能 源 生产 和 消费 的 “四 个 
革命 ” 势 在 必 行 。 智 慧 能 源 可 以 有 效 缓解 城市 建设 过 程 中 的 能 源 与 环境 矛盾 ， 实 现 对 传统 
能 源 行业 的 重新 塑造 和 逆向 整合 ， 在 中 国 将 大 有 可 为 。 

任何 新 事物 的 发 展 都 有 一 个 循序 渐进 的 过 程 。 中 国 要 想 踏 上 智慧 能 源 的 快车 道 ， 不 
得 不 面 对 现 实 的 挑战 。 


1. 全 社会 认识 程度 和 接纳 程度 尚 需 加 强 


“互联 网 +” 智 慧 能 源 是 新 生 事物 ， 打 破 了 传统 能 源 产业 之 间 的 供需 界限 ， 改 变 了 传 
统 的 能 源 生 产 和 消费 方式 ， 改 变 了 用 户 的 用 能 习惯 和 思维 方式 ， 是 由 单 向 消费 者 向 “ 生 
产 一 消费 一 销售 ”者 的 转变 ， 是 能 源 行业 产 、 消 、 售 的 全 面 大 融合 ， 将 渗透 进 大 众生 活 的 
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日 常 ， 对 大 众生 产生 活 方式 进行 全 新 重 塑 。“ 互 联网 +” 智 慧 能 源 的 发 展 离 不 开 大 众 的 广 
泛 认 知 和 参与 ， 但 我 国 经 济 发 展 的 地 区 差异 决定 了 现 阶 段 全 社会 对 智慧 能 源 的 认识 程度 和 
接纳 程度 尚未 达成 共识 ， 不 同行 业 基于 不 同 的 立场 ， 意 见 存在 分 歧 ， 进 而 使 公众 对 此 缺 
乏 清 晰 的 认 知 ， 因 此 还 需要 深入 培育 ， 通 过 加 强 宣传 提升 大 众 参 与 程度 ， 营 造 全 民 参 与 
的 氛围 。 


2. 技术 层面 尚 需 不 断 创新 和 突破 


能 源 互联 网 是 能 源 技术 、 互 联网 技术 和 物 联网 技术 的 深度 融合 ， 当 前 仍 面 临 诸多 技术 
挑战 。 多 领域 、 多 层级 的 融合 发 展 需 要 技术 创新 的 引领 和 关键 技术 的 不 断 突 破 。“ 互 联网 +” 
智慧 能 源 的 发 展 不 仅 需 要 突破 多 能 互补 分 布 式 系统 发 电 、 储 能 、 智 能 微 网、 主动 配 电网 、 
和 柔性 直流 等 能 源 领域 关键 技术 ， 还 需要 探索 物 联网 、 大 数据 、 云 计算 等 信息 通信 技术 在 能 
源 领 域 的 深度 应 用 。 随 着 电力 交易 市 场 的 放 开 ， 计量、 结算 、 智 能 用 电 管 理 等 技术 与 能 源 
系统 的 跨行 业 融 合 等 技术 需要 进一步 探索 。 能 源 互联 网 的 发 展 尚 处 于 起 步 阶 段 ， 所 需 的 技 
术 体 系 、 标 准 体系 尚未 确定 ， 以 信息 通信 、 电 力 电子 、 可 再 生 能 源 等 多 种 技术 为 核心 的 交 
又 融合 技术 需要 不 断 创新 和 突破 。 


3. 跨 界 融合 带 来 的 监管 问题 不 容 忽 视 


“互联 网 +” 智 慧 能 源 通过 互联 网 将 能 源 的 生产 、 运 输 、 消 费 、 存 储 和 金融 的 融资 、 
交易 、 结 算 以 及 用 户 端的 用 能 需求 、 用 能 行为 等 多 主体 紧密 结合 在 一 起 ， 由 于 领域 的 不 
同 、 环 节 的 增多 ， 协 调 机 制 更 加 复杂 ， 势 必 带 来 安全 问题 ， 跨 界 融 合 带 来 的 监管 问题 不 容 
忽视 ， 需 要 从 安全 角度 加 强 监管 和 风险 管控 。“ 互 联网 +” 智 慧 能 源 系统 内 的 用 户 信息 、 
数据 、 设 备 在 网 络 中 的 传递 、 保 存 、 分 发 ， 都 基于 互联 网 的 智慧 能 源 交易 平台 ， 均 需要 得 
到 安全 保证 。 因 此 ， 必 须 充分 认识 到 监管 的 重要 性 和 必要 性 ， 密 切 把 握 能 源 互联 网 行业 
发 展 动态 ， 适 时 调整 监管 政策 和 范围 ， 提 升 “ 互 联网 +” 智 慧 能 源 网 络 和 信息 安全 事件 监 
测 、 预 警 和 应 急 处 置 能 力 。 


4. 给 设施 联通 方面 带 来 新 的 挑战 


“互联 网 +” 智 慧 能 源 需 要 加 强 综合 能 源 网 络 建设 ， 主 要 包括 建设 以 智能 电网 为 基 
础 ， 与 热力 管 网 、 天 然 气管 网 、 交 通 网 络 等 多 种 类 型 网 络 互联 互通 ， 多 种 能 源 形态 协同 转 
化 、 集 中 式 与 分 布 式 能 源 协调 运行 的 综合 能 源 网 络 ， 需 要 构建 开放 的 共享 体系 ， 建 立 面向 
在 多 种 应 用 和 服务 场景 下 能 源 系 统 互联 互通 的 开放 接口 、 网 络 协议 和 应 用 支撑 平台 ， 支 持 
海量 和 多 种 形式 的 供 能 与 用 能 设备 的 快速 、 便 捷 接 入 。 实 现 “互联 网 +” 智 慧 能 源 中 能 源 
流 与 信息 流 的 互联 互通 具有 极 大 挑战 性 。 

中 国 智 慧 能 源 建设 将 分 2016 一 2018 年 和 2019 一 2025 年 两 个 阶段 推进 , “独立 建设 、 连 
接 成 网 ”将 是 智慧 能 源 建设 的 必由之路 。 就 近 中 期 而 言 ， 掌 握 智 能 电网 、 储 能 、 天 然 气 分 
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布 式 利用 等 核心 技术 的 创新 型 企业 将 会 首先 享受 红利 ， 而 传统 能 源 公司 因 其 具有 的 基础 优 
势 ， 一 旦 插 上 互联 网 思维 的 翅膀 ， 将 会 成 为 未 来 的 智慧 能 源 巨头 ， 为 终端 用 户 提供 “ 电 、 
热 、 冷 、 气 、 水 ”一 揽 子 服务 ， 和 能 源 生 产 、 转 换 、 和 运输、 存储 、 消 费 一 体 化 的 解决 方案 
将 成 为 这 些 企 业 的 核心 竞争 力 。 同 时 ， 结 合 大 数据 分 析 ， 为 用 户 提供 能 源 健康 诊断 、 风 险 
管理 和 解决 方案 等 增值 服务 的 管理 咨询 公司 也 将 占有 一 席 之 地 。 

近年 来 颇 引 人 关注 的 是 ， 在 低 油价 的 冲击 下 ， 过 去 一 向 安 枕 无 忧 的 壳牌 、BP、 雪 佛 
龙 等 跨国 石油 巨头 们 ， 纷 纷 开始 谋划 和 踏足 新 能 源 布局 ， 似 乎 预示 新 一 轮 的 能 源 转型 正 加 
速 启 程 。 智 慧 能 源 的 发 展 ， 必 然 需要 大 企业 的 战略 眼光 、 智 慧 思维 和 胸怀 格局 , “不 谋 全 
局 者 不 足以 谋 一 域 ， 不 谋 万 世 者 不 足以 谋 一 时 ”， 未 来 的 能 源 生产 商 将 逐步 向 能 源 生产 服 
务 商 转变 ， 成 为 新 生产 生活 方式 的 创造 者 、 能 源 解决 方案 的 提供 者 和 商业 模式 的 创新 者 。 
在 中 国 这 块 孕育 着 无 穷 希望 和 机 遇 的 土地 上 ， 将 会 涌现 出 一 批 伟大 的 企业 ， 在 一 个 崭新 的 
智慧 能 源 时 代 ， 开 启 能 源 发 展 的 新 里 程 。 
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基于 大 数据 的 智慧 电网 技术 


5.1 大 数据 对 电网 信息 化 建设 的 影响 


在 当前 电网 信息 化 体系 之 下 ， 大 数据 作为 新 兴 的 力量 和 技术 系统 ， 在 引入 初期 即 呈现 
出 强大 的 生命 力 。 在 实际 工作 中 应 当 围 绕 电力 系统 的 发 展 需求 ， 妥 善 展开 技术 布局 ， 使 大 
数据 成 为 推动 电力 事业 发 展 的 重要 力量 。 


5.1.1 电网 信息 化 现状 分 析 


电力 工业 作为 国家 基础 性 能 源 设 施 ， 与 社会 发 展 和 人 民生 活 息息相关 ， 是 国民 经 济 
社会 健康 稳定 、 持 续 发 展 的 重要 条 件 。 积 极 应 用 大 数据 技术 ， 推 动 中 国电 力 大 数据 事业 发 
展 ， 对 实现 中 国电 力 工业 科学 发 展 具 有 极 大 的 现实 意义 。 

2013 年 ， 中 国电 机 工程 学 会 电力 信息 化 专 委 会 编制 发 布 了 《中 国电 力 大 数据 发 展 白 皮 
书 》， 这 是 我 国 首次 就 电力 大 数据 问题 发 布 白皮书 。 

白皮书 第 一 次 提出 了 电力 大 数据 的 定义 ， 并 同时 指出 重 塑 电 

力 核心 价值 和 转变 电力 发 展 方式 是 中 国电 力 大 数据 的 两 条 核心 主线 。 

随 着 电力 工业 与 信息 化 的 深度 融合 ， 电 力 信息 化 对 电力 企业 的 决策 、 运 营 、 销 售 的 价 
值 不 断 增强 ， 这 种 价值 的 跃升 将 使 电力 企业 具有 大 数据 的 时 代 特 征 。 电 力 信息 化 将 突破 传 
统 运 维 ， 产 生 更 多 的 增值 服务 ， 致 使 催生 新 的 管理 模式 创新 。 数 据 中 心 将 被 赋予 更 多 的 职 
能 ， 比 如 强大 的 数据 挖掘 、 数 据 分 析 和 决策 能 力 。 

电力 企业 业务 数据 主要 来 自生 产 数据 和 运营 管理 数据 。 电 力 企 业 生产 数据 既 包 括 发 电 
量 、 电 压 稳 定性 等 实时 采集 的 数据 ， 也 包括 物 联网 、 云 计算 、 新 能 源 并 网 等 技术 带 来 的 新 
数据 业务 。 

电力 企业 运营 管理 数据 则 包括 ERP、 一 体 化 平台 、 协 同 办 公 等 方面 的 数据 。 如 能 充分 
利用 这 些 基 于 电力 生产 、 使 用 等 实际 数据 ， 对 其 进行 深入 分 析 ， 便 可 以 提供 大 量 的 高 附加 
值 服 务 。 这 些 增值 服务 将 有 利于 电厂 生产 安全 检测 与 控制 ， 电 力 企 业 决策 分 析 与 管理 流程 
控制 ， 电 力 企业 精细 化 运营 管理 等 ， 实 现 更 科学 的 电力 需求 侧 管理 。 

电力 系统 想 要 实现 更 为 高 效 的 工作 ， 信 息 化 势 在 必 行 。 从 整体 发 展 状况 来 看 ， 只 有 高 
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水 平 的 电力 信息 化 ， 才 能 推动 电力 系统 运行 稳定 性 的 提升 ， 并 且 帮 助 找到 其 正确 的 发 展 方 
向 。 在 当前 的 技术 背景 下 ， 信 息 化 技术 应 用 不 断 深入 ， 也 从 客观 上 形成 了 对 电力 系统 发 展 
的 推动 。 而 在 信息 化 技术 框架 下 ， 大 数据 作为 当红 的 信息 技术 之 一 ， 其 价值 不 容 忽 视 。 

电力 行业 应 当 在 大 力 推广 信息 化 建设 的 同时 ， 认 识 到 数据 背后 的 价值 ， 搞 好 数据 治 
理 ， 并 积极 投入 到 数据 挖掘 与 分 析 运 用 工作 中 ， 实 践 大 数据 战略 ， 挖 掘 数 据 价值 ， 为 电力 
行业 发 、 输 、 配 、 变 、 用 电 各 环节 建设 ， 以 及 电力 营销 等 业务 发 展 提供 科学 指导 和 有 效 解 
决 方案 ， 重 视 提升 电力 行业 信息 化 系统 辅助 决策 能 力 。 


5.1.2 电网 信息 建设 在 大 数据 时 代 的 思考 与 探索 


大 数据 不 仅仅 是 一 门 技术 ， 同 时 也 是 一 种 全 新 的 商业 模式 ， 它 与 云 计算 共同 构成 了 下 
一 代 经 济 的 生态 系统 ， 大 数据 对 于 电网 信息 化 建设 的 影响 已 经 发 生 并 将 继续 深入 。 对 应 现 
在 已 经 建立 健全 的 信息 系统 ， 电 力 企业 应 该 在 技术 上 做 好 哪些 准备 工作 ? 越 来 越 多 的 大 数 
据 出 现在 电力 企业 面前 时 ， 电 网 信息 化 建设 应 如 何 应 对 ? 电网 信息 化 建设 将 做 哪些 工作 提 
高 大 数据 时 代 的 信息 安全 性 ?电网 信息 化 建设 将 如 何 将 大 数据 变 成 利润 增长 点 ? 这 些 问 题 
都 是 大 数据 时 代 带 给 电网 信息 建设 的 思考 与 探索 方向 。 

电网 信息 化 建设 如 果 接 受 大 数据 变革 ， 要 建立 合适 的 数据 规则 ， 中 国 的 发 电 企业 多 以 
集团 化 运营 ， 分 、 子 公司 遍布 全 国 甚 至 海外 ， 发 电 形式 多 样 。 要 实现 集团 内 大 数据 处 理 首 
先 要 通过 详尽 调研 、 研 讨 后 根据 不 同类 型 电厂 制定 统一 的 、 标 准 化 的 数据 结构 。 每 一 个 电 
力 企业 根据 自身 发 展 、 管 理 、 运 营 的 需要 进行 信息 化 建设 时 ， 在 决策 层 发 挥 的 作用 与 实现 
的 方式 都 存在 而 且 应 该 存在 差异 。 而 从 电厂 生产 设备 、 管 理 运 营 方式 、 集 团 管理 制度 的 方 
向 出 发 ， 同 一 发 电 集 团 公司 内 的 同 种 类 型 电厂 信息 化 系统 可 利用 数据 结构 相同 度 要 远大 于 
差异 度 。 梳 理 数据 结构 整个 过 程 包括 涵盖 业务 的 梳理 与 理解 、 数 据 构成 的 理解 、 数 据 结构 
的 准备 、 建 立 相 对 应 的 数据 挖掘 模型 、 评 估 和 部 署 6 个 步骤 。 

在 做 这 项 工作 前 ， 应 对 发 电 企 业 的 业务 有 详尽 了 解 ， 根 据 业 务 需求 明确 需要 进行 梳理 
的 数据 结构 的 意义 、 要 求 和 最 终 目的 。 在 明确 业务 需求 后 可 对 原始 数据 进行 可 利用 评估 ， 
从 发 电 集 团 公 司 到 电厂 根据 实际 决策 需要 确定 各 层级 需要 的 数据 ， 并 对 原始 数据 进行 汇 
总 、 清 理 、 集 成 、 变 换 、 分 析 等 一 系列 收集 和 预 处 理工 作 ; 在 搞 好 数据 准备 工作 后 可 通 
过 电网 信息 化 建设 手段 针对 不 同 单位 的 业务 需要 各 自 研发 或 集中 研发 适合 的 信息 系统 
和 数字 化 产品 ;利用 统一 的 数据 结构 ， 利 用 不 同 技术 将 企业 需要 的 数据 以 可 视 化 的 产品 
呈现 出 来 。 

电力 企业 所 要 做 的 就 是 切实 利用 和 推广 好 信息 系统 ， 以 便 在 相对 统一 的 数据 收集 框架 
下 开展 数据 收集 工作 和 需求 调研 工作 。 在 结合 实际 工作 中 ， 要 深入 认识 各 数据 生产 企业 的 
差异 性 ， 存 在 的 数据 元 余 、 缺 失 、 错 误 、 更 新 不 及 时 等 不 同 问题 ， 针 对 发 现 的 问题 不 断 合 
理 优化 数据 取舍 与 收集 标准 ， 并 利用 数据 预 处 理 技术 提高 和 确保 数据 质量 。 因 为 高 质量 、 
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规范 化 、 格 式 统一 的 数据 结构 是 进行 数据 挖掘 工作 的 基础 。 

在 成 功 进行 数据 结构 规范 工作 后 ， 生 产 数据 的 企业 在 研发 信息 系统 时 只 需要 根据 规范 
数据 结构 进行 开发 。 上 级 管理 单位 在 实施 集中 开发 时 只 需要 关注 新 研发 系统 对 不 同 数据 来 
源 的 容错 能 力 和 优化 能 力 ， 而 不 再 关注 数据 是 如 何 产生 的 、 一 个 数据 字段 到 底 代表 了 什么 
含义 等 频繁 、 错 误 率 高 的 工作 。 统 一 的 数据 标准 在 不 改变 生产 数据 企业 的 工作 量 的 同时 有 
效 降低 了 上 级 企业 信息 系统 开发 的 难度 。 

提升 大 数据 的 使 用 能 力 。 当 前 电力 企业 信息 系统 存在 业务 单一 、 类 型 多 样 ， 基 本 都 局 
限 在 处 理 单一 的 业务 层 需 求 ， 仅 实现 单一 需求 报表 和 业务 图 表 的 功能 。 业 务 管理 与 决策 者 
仅 能 通过 一 个 系统 获得 有 限 的 静态 业务 信息 ， 往 往 利 用 信息 决策 要 访问 多 个 信息 系统 ， 且 
信息 系统 之 间 相互 独立 ， 缺 乏 关联 ， 孤 岛 现象 一 直 存在 电力 信息 系统 中 ， 导 致 系统 使 用 者 
要 自己 判断 数据 的 准确 性 和 指导 性 。 面 对 庞大 的 企业 组 织 架 构 和 复杂 的 业务 体系 ， 以 及 不 
断 变化 的 资源 与 经 济 形势 ， 仅 将 大 量 数据 静态 呈现 是 远 不 能 满足 企业 决策 需要 的 。 

因此 ， 在 电力 信息 建设 践 行 大 数据 战略 过 程 中 ， 首 先 要 利用 云 计 算 技术 或 数据 挖掘 相 
关 技术 建立 数据 孤岛 之 间 的 联系 ， 放 弃 探寻 数据 间 的 因果 关系 ， 注 重 数据 的 关联 关系 ， 探 
寻 数 据 与 人 、 生 产 、 政 策 、 利 润 以 及 数据 与 业务 之 间 的 各 种 关联 性 ， 为 企业 决策 提供 全 面 
的 、 准 确 的 、 更 具 实际 意义 的 预测 与 辅助 决策 。 


5.1.3 ”电力 信息 时 代 之 下 的 大 数据 实现 核心 技术 


信息 化 想 要 进一步 在 电力 领域 中 实现 其 价值 ， 大 数据 技术 的 引入 已 经 势 在 必 行 。 这 种 
整体 趋势 一 方面 决定 于 技术 本 身 的 进步 ， 另 一 方面 ， 在 电网 信息 化 实现 的 过 程 中 ， 数 据 量 
的 增加 和 数据 结构 的 多 样 化 、 复 杂 化 ， 以 及 电力 领域 对 于 数据 价值 的 深刻 认识 ， 都 成 为 扒 
动 大 数据 技术 在 该 领域 发 展 的 重要 动力 。 

具体 而 言 ， 当 前 在 电力 信息 环境 中 发 挥 重 要 作用 的 大 数据 技术 包括 如 下 4 项 。 


1. 多 数据 融合 


数据 融合 的 职责 主要 在 于 完成 对 来 自 多 个 信息 源 的 数据 进行 自动 检测 、 关 联 、 相 关 、 
估计 及 组 合 等 处 理 。 电 力 环境 中 大 量 数据 涌 入 ， 不 同 的 数据 素 属 于 不 同 的 分 类 子 系统 ， 因 
此 均 具 有 不 同 的 理解 背景 和 相关 价值 ， 实 际 加 以 处 理 和 分 析 的 时 候 ， 唯 有 对 其 展开 融合 ， 
才能 使 其 在 大 系统 背景 之 下 具有 意义 ， 也 才能 实现 进一步 的 分 析 和 理解 ， 关 联 多 个 数据 
库 ， 实 现 数据 最 大 价值 的 发 现 。 


2. 数据 分 析 挖 气 


电力 大 数据 分 析 挖掘 主要 面向 结构 化 数据 和 非 结 构 化 数据 ， 需 解决 复杂 数据 结构 、 多 
种 类 型 、 海 量 数据 的 有 效 处 理 等 问题 。 在 这 方面 ， 从 技术 的 角度 看 ， 对 结构 化 数据 的 统计 
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分 析 以 及 特征 提取 等 相关 技术 已 经 相对 成 熟 ， 而 对 非 结构 化 数据 ， 包 括 非 结构 化 的 文本 以 
及 流 媒 体 的 研究 ， 则 成 为 当下 热点 。 对 于 电力 信息 系统 而 言 ， 当 前 的 工作 重点 仍然 放 在 结 
构 化 数据 的 领域 上 ， 以 深入 分 析 和 高 效 利 用 相关 数据 作为 基本 工作 重点 展开 。 但 是 同时 也 
应 当 注 意 到 ， 视 频 、 音 频 和 图 像 作 为 安全 系统 的 重要 实现 手段 ， 对 电力 信息 化 系统 而 言 ， 
亦 具 有 积极 价值 。 


3. 数据 可 视 化 


数据 可 视 化 是 实现 信息 系统 与 工作 人 员 之 间 互 动 和 沟通 的 有 效 工 具 ， 尤 其 是 在 海量 数 
据 环 境 下 ， 此 种 技术 更 是 具有 重要 价值 ， 它 借助 图 形 描述 数据 中 的 复杂 信息 ， 通 过 多 种 形 
式 来 展现 数据 深入 分 析 和 处 理 出 来 的 信息 。 在 电力 系统 之 中 ， 数 据 可 视 化 能 够 有 效 面向 电 
力 生产 与 企业 经 营 实现 支持 ， 更 为 重要 的 是 ， 在 电力 系统 与 外 界 环境 沟通 的 过 程 中 ， 数 据 
可 视 化 成 为 能 够 帮助 彼此 理解 的 重要 桥梁 。 


4. 数据 深入 存储 和 处 理 


数据 的 存储 策略 直接 关系 到 电网 信息 化 体系 的 工作 效率 ， 对 于 提升 整体 实时 性 水 平 
有 着 积极 价值 ， 而 同时 数据 的 深入 处 理 ， 直 接 关系 到 对 数据 的 理解 程度 ， 因 此 同样 不 容 
忽视 。 目 前 在 电网 信息 化 体系 下 ， 内 存 计 算 机 技术 和 Hadoop 技 术 的 融合 是 解决 电力 大 数 
据 存储 和 处 理 的 一 个 有 效 办 法 。 内 存 计算 技术 通过 将 数据 读 入 内 存 进 行 处 理 的 方式 来 提 
升 单机 运算 速度 ， 此 种 技术 将 在 内 容 性 价 比 不 断 提升 的 背景 下 有 着 良好 的 应 用 前 景 。 而 
Hadoop 集 群 系统 具备 低廉 的 硬件 成 本 、 开 源 的 软件 体系 、 较 强 的 灵活 性 、 人 允许 用 户 修改 
代码 等 特点 ， 同 时 能 支持 海量 数据 存储 和 计算 任务 。 


5.1.4 ”大 数据 对 电网 信息 化 发 展 的 应 用 与 价值 


为 打造 “美丽 中 国 ” 贡 献 力量 ， 电 力 企业 在 清洁 能 源 项 目的 投入 不 断 增加 ， 光 伏 发 
电 、 风 力 发 电 都 对 地 形 地 貌 、 环 境 特 征 有 很 高 的 要 求 和 条 件 。 针 对 清洁 能 源 项 目 建设 的 要 
求 ， 可 借助 电力 生产 MIS 系 统 与 地 理 信息 GIS 系 统 中 大 量 的 数据 ， 结 合 环境 采集 数据 等 ， 
来 综合 考量 不 同 地 域 电力 生产 水 平 、 地 形 优势 与 资源 分 布 。 利 用 大 数据 的 数据 挖掘 技术 为 
规划 人 员 提 供 支撑 电站 建设 布局 的 决策 数据 ， 实 现 项 目 建设 的 科学 调配 。 也 可 通过 综合 分 
析 影 响 风力 发 电 、 光 伏 发 电机 组 运行 的 诸多 环境 因素 ， 例 如 温度 、 光 照 、 湿 度 、 风 力 等 数 
据 ， 预 测 气候 模式 ， 从 而 规划 出 最 佳 的 机 组 运行 方案 。 通 过 这 种 方式 ， 可 有 效 降低 生产 成 
本 并 提高 产 出 效益 。 

通过 建立 分 布 式 数 据 中心 ， 处 理 厂 级 监控 系统 SIS 系 统 数据 ， 共 享 电力 行业 内 的 设备 
运行 状况 、 生 产 数据 和 维护 方式 ， 通 过 数据 中 心服 务 器 整合 分 析 ， 机 器 自主 学 习 产生 问题 
时 的 相关 数据 状态 ， 形 成 基于 大 数据 的 自动 预警 值 ， 实 现 对 潜在 问题 的 评估 和 预警 ， 建 立 
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前 瞻 性 的 设备 维护 体系 ， 建 立 可 预测 的 设备 维护 方案 。 通 过 海量 基础 数据 分 析 建 立 每 个 设 
备 的 “维护 生命 周期 ”， 以 数据 为 依据 决定 哪些 设备 、 在 什么 时 间 进 行 维护 ， 并 通过 多 家 
电厂 的 共享 大 数据 提供 相应 设备 的 维护 方案 。 

通过 建立 各 生产 系统 数据 互通 ， 依 靠 不 同 种 类 生产 系统 ， 对 传统 发 电 企 业 和 清洁 能 
源 发 电 企 业 给 予 数据 层面 的 决策 性 预测 。 在 基础 数据 不 断 累 积 的 前 提 下 ， 分 析 电 厂 或 发 电 
设备 周围 环境 变化 和 气候 变化 ， 掌 握 不 同时 期 煤炭 储备 量 和 煤炭 消耗 量 的 关系 ， 都 可 对 全 
国 范围 的 季节 性 来 水 与 机 组 负荷 下 降 等 因素 影响 的 机 组 停 备 工作 进行 有 效 预 测 与 数据 支 
持 。 通 过 对 大 数据 的 分 析 ， 提 供 生产 设备 状态 数据 ， 开 展 机 组 停 备 检修 工作 ， 加 强 设备 管 
理 ， 强 化 员工 培训 。 

电网 信息 化 建设 利用 大 数据 技术 ， 从 企业 数据 共享 的 平台 下 获取 电力 企业 生产 数据 、 
管理 数据 、 地 形 地 貌 数 据 、 煤 炭 资 源 检 测 数 据 、 水 资源 数据 等 有 效 数据 中 提炼 准确 的 、 有 
价值 的 数据 都 将 成 为 管理 效益 、 决 策 能 力 提升 的 有 效 臂 膀 ， 甚 至 可 通过 大 数据 的 累积 将 数据 
打包 销售 或 共享 给 金融 机 构 、 科 研 院 所 、 政 府 机 构 等 ， 成 为 新 的 效益 与 设备 效益 增长 点 。 

大 数据 技术 是 未 来 信息 社会 发 展 的 一 个 大 方向 ， 它 为 人 类 全 面 、 深 刻 地 认识 世界 、 认 
识 自 身 提供 了 新 的 方式 和 视角 ， 这 在 此 前 的 时 代 是 无 法 办 到 的 ， 大 数据 是 未 来 技术 发 展 的 
一 片 蓝海 。 大 量 的 数据 处 理 无 疑 向 现在 的 信息 技术 提出 了 新 的 挑战 ， 而 这 一 问题 在 信息 化 
程度 不 断 提高 的 电力 企业 同样 凸显 出 来 。 随 着 信息 技术 的 推进 和 发 展 ， 电 力 企业 的 数据 也 
会 爆炸 式 增长 。 大 数据 不 是 洪水 猛兽 ， 而 是 可 以 利用 的 信息 资产 。 如 何 使 用 好 大 数据 ， 充 
分 活化 企业 数据 资产 ， 更 好 地 服务 于 电力 事业 发 展 和 广大 电力 客户 将 成 为 摆 在 电力 企业 面 
前 值得 思考 的 课题 。 


5.2 大 数据 对 电网 科技 研究 的 影响 


近年 来 ， 大 数据 引起 了 各 界 和 政府 的 高 度 关 注 ， 各 国 针对 大 数据 提出 了 自己 的 发 展 
部 署 ， 如 美国 启动 “大 数据 研究 和 发 展 计划 ”、 欧 盟 针 对 大 数据 的 研究 项 目 投入 了 大 量 资 
金 ， 中 国 也 出 台 了 相关 的 政策 和 措施 来 支撑 大 数据 相关 产业 等 。 聚焦 到 电力 行业 ， 面 对 大 
数据 时 代 的 发 展 趋势 ， 如 何 从 电网 数据 中 挖掘 出 有 价值 的 信息 、 如 何 存 储 和 利用 这 些 数据 
以 促进 电网 发 展 等 ， 都 是 需要 研究 和 探讨 的 课题 。 


5.2.1 电力 大 数据 的 研究 及 应 用 展望 


伴随 着 以 云 计 算 、 物 联网 为 代表 的 第 三 次 IT 浪 潮 ， 信 息 通 信 技 术 发 展 从 计算 效能 开发 
转向 数据 效能 挖 据 。 数 据 的 经 济 价值 和 科学 价值 不 断 提升 ， 被 视 为 等 同 于 自然 资源 、 人 力 
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资源 的 新 型 战略 资源 ， 而 “大 数据 ”问题 也 成 为 产 、 学 、 研 各 界 关 注 的 热点 。 大 数据 是 云 
计算 、 物 联网 技术 的 延续 和 变革 ， 对 国家 治理 模式 、 企 业 运行 机 制 、 个 人 生活 方式 都 将 产 
生 巨 大 的 影响 。 

在 电力 行业 ， 坚 强 智能 电网 建设 及 “三 集 五 大 ”管理 体系 的 决策 部 署 ， 对 数据 的 管 
理 、 共 享 及 互 操作 提出 了 更 高 要 求 。 电 力 大 数据 环境 正在 形成 ， 数 据 体 量 正 在 迅速 膨胀 ， 
数据 类 型 逐渐 多 样 化 ， 数 据 时 效 性 不 断 提高 。 对 此 ， 需 要 挖掘 大 数据 环境 下 业务 数据 处 理 
的 潜在 需求 ， 探 索 适 应 电力 数据 科学 的 理论 及 方法 ， 使 得 信息 系统 运 维 的 外 延 向 数据 运 维 
范畴 进一步 拓展 。 


1. 应 对 天 数据 带 来 的 技术 挑战 


电力 大 数据 的 复杂 性 源 自 电 网 的 复杂 性 ， 体 现在 “ 量 ”“ 类 ”“ 时 ”3 个 维度 。 

“ 量 ” 指 数据 的 体 量 ， 表 现 为 : 空间 维度 上 ， 数 据 感知 泛 在 分 布 ， 广 域 分 布 的 监测 终 
端 、 智 能 设备 和 计算 机 集群 等 共同 构成 了 泛 在 的 信息 感知 网 络 ， 时 间 维 度 上， 监测 终端 密 
度 的 增加 、 监 测 频率 的 提高 ， 使 得 单位 时 间 内 的 数据 采集 量 不 断 增 加 。 

“类 ”是 数据 的 种 类 ， 表 现 为 ， 数 据 模型 异 构 异 质 ， 包 括 文本 、 图 形 、 图 像 、 视 频 、 
音频 等 相互 关联 的 不 同形 态 ， 数 据 来 源 种 类 繁多 ， 包 括 电 力 一 次 设备 、 二 次 设备 和 各 类 移 
动 IT 设备 等 。 

“时 ”反映 了 数据 使 用 的 时 效 性 ， 表 现 为 : 电力 供需 的 平衡 应 当 是 一 个 实时 响应 的 过 
程 ， 发 用 电 计划 等 业务 在 数据 处 理 、 决 策 制定 与 执行 方面 必须 具备 时 效 性 。 

目前 信息 系统 的 运行 方式 是 以 计算 为 中 心 ， 将 数据 应 用 于 计算 。 这 种 “以 不 变 应 万 
变 ” 的 计算 模式 已 不 能 适应 电力 数据 处 理 的 复杂 性 ， 难 以 应 对 智能 电网 信息 的 多 源 多 模 态 
的 特征 。 对 此 ， 需 要 考虑 对 整个 电力 信息 IT 架构 的 革命 性 重 构 ， 将 信息 系统 的 运行 方式 转变 
为 以 数据 为 中 心 ， 将 计算 用 于 数据 ， 形 成 业务 逻辑 、 计 算 结 构 、 数 据 模型 间 的 柔性 关联 。 


2. 电力 大 数据 特征 的 本 质 在 于 关系 网 络 


电力 信息 系统 的 数据 组 成 是 “竖井 式 ” 的 孤立 数据 和 离散 连接 ， 把 这 些 数 据 连接 整 
合 起 来 可 构成 一 张 庞大 的 关系 网 络 。 例 如 生产 管理 系统 与 信息 管理 系统 在 信息 资源 和 数据 
拓扑 上 存在 隔 阅 ， 但 在 逻辑 层面 两 者 应 当 是 统一 的 ， 形 成 集约 化 的 基础 架构 。 电 力 大 数据 
处 理 是 对 跨 时 间 、 跨 地 域 、 跨 物理 空间 和 网 络 空间 的 数据 资源 进行 关联 分 析 ， 其 信息 的 共 
性 、 网 络 的 整体 特性 隐藏 在 数据 网 络 中 ， 需 要 以 各 种 类 型 、 不 同形 式 存储 的 业务 数据 〈 非 
结构 化 、 结 构 化 、 历 史 / 准 实时 、 电 网 空间 数据 ) 为 对 象 ， 参 照 社会 关系 、 生 物 科 学 的 方 
法 论 ， 从 图 论 的 角度 挖掘 出 数据 网 络 的 基本 参数 ， 如 最 短路 径 、 生 成 子 树 、 核 数 、 介 数 
等 。 在 技术 框架 上 必须 打破 现 有 的 体系 格局 ， 继 承 统计 科学 的 技术 特点 ， 充 分 汲取 图 形 数 
据 库 、 机 器 学 习 、 分 类 器 组 合 设计 等 各 类 信息 技术 的 养分 ， 建 立 面向 业务 与 数据 、 数 据 与 
数据 间 关 联 关系 的 科学 体系 。 
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3. 数据 规模 的 扩大 将 提升 信息 检索 的 重要 性 


传统 信息 处 理 技术 主要 面向 特定 数据 集 应 用 ， 数 据 规模 通常 在 可 控 范 围 内 ， 解 决 问题 
的 关键 在 于 数据 的 采集 及 表示 方法 。 将 这 类 技术 应 用 于 大 数据 环境 ， 试 图 寻求 大 数据 描述 
的 固定 模式 、 因 果 关 联 ， 必 将 显现 出 技术 的 局 限 性 。 究 其 根本 在 于 数据 环境 的 不 确定 性 ， 
这 种 不 确定 性 将 随 着 数据 规模 的 增加 而 呈现 出 非 线性 增长 的 态势 。 

信息 检索 正 是 应 对 数据 布局 的 不 确定 性 而 产生 的 技术 领域 ， 可 借鉴 国外 已 提出 的 基于 
搜索 的 应 用 理念 (Search-Based Application，SBA) ， 专 注 于 分 析 信息 检索 技术 应 用 于 信 
息 系统 的 内 涵 和 外 延 ， 从 服务 的 角度 将 搜索 引擎 扩展 为 异 构 异 质数 据 源 优化 整合 的 一 体 化 
数据 服务 体系 。 以 此 为 目标 ， 针 对 典型 的 业务 应 用 场景 设计 数据 级 稳定 、 可 靠 、 可 扩展 、 
安全 的 搜索 架构 。 

电力 大 数据 研究 是 信息 科学 、 计 算 机 科学 在 电力 应 用 领域 的 拓展 ， 形 成 关于 电力 信息 
的 “数据 科学 ”。 在 研究 内 容 上 ， 电 力 大 数据 研究 是 电力 云 计算 、 物 联网 的 延续 和 深化 ， 
将 研究 对 象 从 IT 资源 提升 到 信息 资源 ， 在 科研 方法 论 上 ， 将 打破 传统 “分 而 治之 ”的 还 原 
论 思 想 ， 探 索 适 合 大 数据 特征 的 新 型 科研 范式 ， 在 技术 手段 上 ， 需 要 融合 模式 识别 、 智 能 
系统 、 统 计 分 析 等 多 种 技术 。 总 之 ， 电 力 大 数据 是 具有 开创 性 的 前 沿 科 学 领域 ， 如 何 理 清 
其 研究 的 目标 、 对 象 和 方法 ， 对 智能 电网 、“ 三 集 五 大 ”、 企 业经 营 管理 与 决策 ， 以 及 构 
建 绿色 、 节 能 、 环 保 、 高 效 的 IT 架构 具有 重要 意义 。 


5.2.2 ”电力 行业 的 大 数据 发 展 解析 


1. 电力 行业 的 大 数据 发 展 趋势 


近年 来 ，“ 大 数据 ”已经 成 为 科技 界 和 企业 界 关 注 的 热点 。2012 年 3 月 ， 美 国 奥 巴 马 
政府 宣布 投资 2 亿美 元 启动 “大 数据 研究 和 发 展 计 划 ”， 这 是 继 1993 年 美国 宣布 “信息 高 
速 公 路 ”计划 后 的 又 一 次 重大 科技 发 展 部 署 。 美 国政 府 认为 大 数据 是 “未 来 的 新 石油 ”， 
将 “大 数据 研究 ”上 升 为 国家 意志 ， 对 未 来 的 科技 与 经 济 发 展 必 将 带 来 深远 影响 。 

在 我 国 ， 工 信 部 在 “十 二 五 ”期 间 ， 以 加 快 云 计 算 服务 产业 化 为 主线 ， 以 提高 创新 能 
力 和 信息 服务 能 力 以 及 创新 服务 模式 为 目标 ， 从 国务 院 到 地 方 政府 出 台 了 一 系列 的 政策 和 
措施 ， 重 点 扶持 物 联网 、 云 计算 等 大 数据 相关 产业 ， 为 培育 发 展 战略 性 新 兴 产 业 、 加 快 转 
变 发 展 方式 提供 更 加 有 力 的 支撑 ， 迎 接 大 数据 时 代 的 到 来 。 

聚焦 到 电力 行业 ， 电 网 具有 天 然 的 海量 数据 基础 ， 为 大 数据 的 应 用 提供 了 土壤 ; 电网 
大 数据 业务 需求 强烈 ， 急 需 契合 电网 业务 的 大 数据 产品 ;大 数据 技术 本 身 相 对 成 熟 ， 但 在 
电网 的 大 规模 应 用 仍 在 起 步 阶段 。 但 毋庸 置疑 ， 大 数据 技术 应 用 于 电网 业务 ， 助 力 电网 科 
技 研究 是 大 势 所 趋 。 
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1) 电网 中 的 大 数据 基础 

回顾 中 国电 网 的 发 展 历程 ，SG186 工 程 为 电网 运营 积累 了 超大 规模 、 类 型 众多 的 海量 
数据 ， 这 是 大 数据 技术 应 用 于 电力 行业 的 天 然 基础 。 伴 随 着 智能 电网 建设 的 大 力 推进 ， 进 
一 步 催 生 了 海量 、 高 频 的 用 电 、 配 电 、 输 电 等 环节 的 采集 或 监控 数据 ， 国 家 电网 公司 对 电 
网 实时 状态 的 精益 化 管理 需求 ， 极 大 地 促进 了 大 数据 技术 在 电网 中 的 应 用 。 

2) 电网 中 的 大 数据 需求 

随 着 智能 电网 精益 化 监控 水 平 的 提高 ， 电 网 运营 日 益 面临 海量 数据 处 理 的 挑战 ， 主 要 
体现 在 和 

(1) 电网 数据 规模 海量 膨胀 。 信 息 化 水 平 不 断 提高 的 电网 六 大 环节 ， 时 刻 在 产生 海 
量 的 数据 。 以 调度 中 的 PMU 为 例 ， 常 规 秒 级 采样 频率 达到 几 千 次 以 上 ; 省 网 用 电信 息 采 
集 系 统 每 年 数据 增长 规模 达到 PB 级 别 。 

(2) 电网 数据 类 型 不 断 增加 。 伴 随 着 电网 业务 的 发 展 ， 实 时 数据 、 结 构 化 数据 、 半 
结构 化 数据 、 非 结构 化 数据 以 及 其 衍生 类 型 ， 在 各 类 业务 系统 中 大 量 产 生 ， 智 能 电网 本 身 
也 在 努力 挖掘 其 中 隐藏 的 数据 价值 。 

(3) 跨 专业 、 跨 部 门 的 数据 汇聚 挖掘 需求 明确 。 智 能 电网 的 综合 决策 保障 ， 依 靠 跨 
专业 、 跨 部 门 的 数据 综合 分 析 ， 不 仅仅 是 关注 调度 、 营 销 等 业务 范围 内 的 数据 ， 还 要 分 析 
它们 的 相关 性 ， 进 行 综合 考虑 。 这 就 需要 海量 数据 的 高 速 存储 和 综合 分 析 方 面 的 能 力 ， 而 
这 恰 是 大 数据 技术 所 长 。 

3) 电网 中 的 大 数据 应 用 现状 

从 智能 电网 的 角度 看 ， 目 前 众多 的 大 数据 产品 并 未 贴近 电网 业务 ， 没 有 系统 分 析 电力 
行业 大 数据 产生 的 实际 背景 、 特 点 和 应 用 特征 ， 更 没有 真正 整体 融合 电力 系统 实时 数据 处 
理 的 相关 业务 需求 和 IT 先进 技术 ， 为 电力 行业 量 身 打造 的 海量 实时 数据 处 理 一 体 化 、 成 熟 
产品 仍 未 出 现 。 

综 上 所 述 ， 大 数据 处 理 技术 在 智能 电网 的 发 、 输 、 变 、 配 、 用 、 调 度 环节 及 经 营 管理 
方面 还 有 广阔 的 前 景 ， 可 为 “三 集 五 大 ”和 公司 运营 与 决策 提供 一 体 化 的 数据 服务 支撑 。 
电力 大 数据 体系 的 建设 可 以 最 大 限度 地 发 挥 数据 的 价值 ， 大 力 提升 生产 集约 化 和 管理 现代 
化 水 平 ， 提 高 智能 电网 的 信息 化 水 平 ; 通过 对 数据 的 高 速 处 理 和 及 时 响应 ， 进 一 步 增强 智 
能 电网 操作 控制 的 自动 化 能 力 ， 借 助 高 吞吐 、 大 并 发 的 处 理 能 力 ， 进 一 步 提 升 用 电 服 务 的 
互动 化 水 平 ， 提 供 更 优质 的 服务 。 


2. 大 数据 之 抽 丝 剥 草 


(1) 大 数据 的 技术 及 产品 

从 技术 层面 看 ， 大 数据 技术 是 一 系列 相关 技术 的 组 合 。 目 前 ， 国 际 国内 主流 大 数据 
技术 主要 包括 以 开源 Hadoop 及 HBase 系 列 软件 为 基础 的 相关 技术 ， 包 括 分 布 式 计算 框架 
(Map Reduce) 、 分 布 式 文件 系统 “HDFS) 、 分 布 式 数据 库 (HBase) 、 云 计算 、 数 据 
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挖掘 等 。 这 些 技术 本 身 主 要 由 互联 网 搜索 应 用 逐步 发 展 而 来 ， 技 术 早 已 存在 ， 是 各 种 原 有 
技术 的 有 机 组 合 。 

从 产品 层面 看 ， 在 大 数据 处 理 方面 ， 国 内 外 的 成 熟 产品 ， 其 技术 路 线 及 产品 思路 有 
部 分 一 致 性 。 主 要 是 基于 大 数据 处 理 技术 ， 借 鉴 国外 开源 产品 进行 本 地 化 改造 ， 以 不 同行 
业 的 应 用 需求 为 引导 ， 研 发 针对 行业 需求 的 自主 深化 产品 。 在 电力 行业 外 ， 如 淘宝 ， 基 于 
淘宝 店铺 的 海量 统计 需求 进行 Hadoop 的 改造 ， 形 成 了 “云梯 ”等 一 系列 产品 。 在 电力 行 
业内 ， 国 网 电 科 院 瑞 中 数据 自主 研发 的 “ 海 迅 电 力 云 计 算 处 理 平台 ”， 可 以 实现 PB 级 的 
存储 ， 在 线 扩容 ， 且 具备 跨 实 时 数据 、 结 构 化 数据 、 非 结构 化 数据 等 异 构 数据 的 并 行 计算 
能 力 ， 满 足 用 电 采 集 、 调 度 检 索 等 海量 数据 处 理 需求 ， 大 幅 提升 了 原 有 系统 的 业务 处 理 效 
率 。 从 技术 和 产品 上 看 ， 瑞 中 的 团队 始终 认为 : 大 “数据 的 发 展 ， 一 定 不 是 技术 引领 ， 而 
是 应 用 引领 ”。 因 此 ， 如 何 将 大 数据 技术 与 电网 业务 场景 紧密 结合 到 一 起 ， 成 为 大 数据 技 
术 应 用 到 电力 行业 是 否 能 够 成 功 的 关键 。 

(2) 大 数据 的 安全 问题 

电网 自身 的 安全 问题 影响 到 电网 运营 的 方方面面 。 大 数据 的 引入 是 否 会 影响 电网 的 安 
全 ， 如 何 保障 电网 的 安全 。 从 安全 的 角度 看 ， 其 本 身 是 一 个 很 大 的 范围 。 从 技术 上 看 ， 大 
数据 等 新 技术 的 引入 ， 作 为 一 种 非 安全 性 相关 的 技术 ， 并 不 会 带 来 新 的 安全 问题 ， 也 不 会 
特意 去 解决 一 些 安全 ， 是 否 安全 主要 还 是 依靠 软件 的 应 用 场景 、 设 计 思路 及 成 熟 度 。 以 大 
数据 的 开源 产品 Hadoop 为 例 ， 其 内 含 的 复制 因子 模块 保证 了 数据 的 备份 恢复 ， 在 线 扩展 
特性 使 在 线 应 用 可 持续 工作 ， 这 些 特性 一 定 程度 地 提高 了 系统 安全 性 。 但 因为 其 本 身 的 分 
布 式 架构 ， 无 法 保证 实时 响应 且 不 支持 事务 操作 ， 使 其 在 费 控 等 严格 一 致 性 业务 中 无 法 使 
用 。 因 此 ， 瑞 中 的 观点 是 : “ 谈 安 全 ， 必 须 明 确 业 务 场 景 所 需要 的 安全 范围 。 大 数据 技术 
不 会 带 来 安全 问题 ， 也 不 能 够 消灭 安全 问题 ”。 随 着 适用 于 电网 应 用 的 大 数据 产品 的 日 益 
成 熟 ， 大 数据 产品 相关 的 安全 争议 一 定 会 得 到 终结 。 


3. 大 数据 给 电网 创造 的 价值 


随 着 智能 电网 大 数据 体系 的 建设 ， 大 数据 技术 的 充分 应 用 可 以 在 各 方面 为 智能 电网 创造 
价值 。 从 目前 智能 电网 的 现状 看 ， 在 以 下 业务 环境 ， 大 数据 技术 的 应 用 能 够 带 来 明显 价值 。 

(1) 以 大 数据 建立 平台 ， 为 关键 业务 系统 提供 技术 保障 。 为 用 电信 息 采集 系统 、 
WMS 等 提供 事件 数据 的 高 效率 存储 、 查 询 和 分 析 计 算 的 平台 环境 ， 支 撑 电 量 统计 、 线 损 
分 析 、 异 常 告警 等 营销 业务 ， 解 决 好 新 旧 系 统 的 兼容 、 协 作 以 及 平滑 迁移 问题 ， 大 幅度 提 
高 业务 系统 的 数据 处 理 效率 。 

(2) 拓展 业务 应 用 ， 持 续 提升 大 营销 管理 水 平 。 为 大 营销 提供 数据 处 理 服 务 ， 提 高 
需求 侧 用 电 分 析 、 有 序 用 电 、 反 窃 电 分 析 、 能 效 管理 以 及 实时 费 控 等 的 计算 分 析 效率 ， 加 
快 系统 响应 速度 ， 有 效 提 升 营销 经 营 管理 水 平 。 

(3) 提速 双向 交互 ， 提 供 高 水 平 优质 服务 。 通 过 为 95598 等 相关 平台 提供 高 通 量 的 数 
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据 交 换 和 存储 与 查询 能 力 ， 提 高 双向 交互 的 吞吐 量 、 降 低 响应 时 延 ， 提 升 互动 化 水 平 ， 为 
用 户 提供 更 高 水 平 的 优质 服务 。 

(4) 深 挖 数据 价值 ， 不 断 促进 电网 发 展 。 在 调度 自动 化 、 用 电 负荷 、 电 压 、 电 量 等 
数据 及 统计 信息 的 基础 上 ， 深 挖 数据 价值 ， 为 大 规划 、 大 运行 、 大 检修 提供 数据 分 析 计 算 
的 基础 支撑 ， 提 高 一 体 化 平台 数据 中 心 数据 管理 效率 ， 为 决策 提供 高 质量 的 数据 支持 ， 不 
断 促进 电网 发 展 。 


4. 决胜 大 数据 一 一 来 自 电 网 内 部 企业 的 工作 


面 对 大 数据 时 代 的 发 展 趋势 ， 应 对 电力 行业 海量 数据 带 来 的 挑战 ， 国 网 电 科 院 瑞 中 数 
据 等 电力 行业 企业 ， 以 智能 电网 需求 为 导向 ， 以 “三 集 五 大 ”政策 为 支点 ， 未 雨 绸 缪 在 大 
数据 领域 开展 切实 的 工作 。 国 网 电 科 院 瑞 中 数据 致力 于 自主 研发 契合 电网 业务 场景 、 处 理 
电网 海量 数据 的 高 科技 产品 ， 解 决 电网 运营 中 的 数据 难题 ， 保 障 电网 运营 安全 。 针 对 电网 
大 数据 实时 存储 的 需求 ， 瑞 中 自主 知识 产权 的 旗舰 级 产品 “ 海 迅 实时 数据 库 管理 系统 ”是 
进行 海量 实时 /历史 信息 处 理 的 专业 平台 ， 可 广泛 应 用 于 电力 、 石 油 化 工 、 钢 铁 治 金 、 水 
情 水 利 、 智 能 交通 、 环 境 监 测 、 气 象 监测 、 金 融 电信 等 工业 自动 化 及 现代 服务 业 领 域 ， 同 
时 能 够 作为 新 兴 物 联网 应 用 的 海量 信息 处 理 平 台 。 针 对 电网 大 数据 综合 计算 难题 ， 瑞 中 自 
主 研发 了 旗舰 级 产品 “ 海 迅 电力 云 计算 平台 V1.0 (HighSoon BigInsight V1.0，HB) ”， 适 
用 于 多 类 超大 规模 异 构 数 据 类 型 高 效 存 储 和 分 析 的 一 体 化 基础 性 支撑 平台 ， 解 决 了 电网 运 
营 过 程 中 海量 数据 规模 (PB 级 ) 、 异 构 数 据 〈 时 间 序 列 型 数据 、 结 构 化 数据 、 半 结构 化 
数据 、 非 结构 化 数据 ) 存储 、 计 算 、 综 合 分 析 的 难题 。 

目前 ， 以 中 国电 科 院 、 国 网 电 科 院 为 首 的 国家 电网 公司 下 属 产业 公司 ， 纷 纷 组 建 了 大 
数据 部 门 及 研发 团队 ， 就 大 数据 技术 在 电网 中 的 应 用 做 了 诸多 探索 。 可 以 预料 ， 众 多 的 电 
网 大 数据 应 用 将 有 所 突破 ， 为 智能 电网 建设 添砖加瓦 。 


5.3 ”大 数据 对 电网 安全 体制 的 影响 


电力 行业 作为 国家 基础 性 能 源 设施 ， 是 国民 经 济 与 社会 发 展 的 基础 ， 正 在 受到 大 数据 
的 深刻 影响 。 由 于 电网 安全 关乎 着 人 民 的 生命 健康 安全 ， 因 此 有 必要 通过 大 数据 技术 来 应 
对 电网 安全 方面 的 问题 。 当 今 数据 快速 增多 、 日 益 复杂 化 ， 现 有 数据 技术 已 无 法 满足 ， 为 
了 解决 这 个 篮 众 现 状 ， 大 数据 技术 应 运 而 生 。 积 极 应 用 大 数据 技术 推动 我 国电 力行 业 大 数 
据 事业 发 展 ， 发 现 潜在 的 电网 安全 事故 隐患 ， 构 建 高 效 安全 的 智能 电网 ， 对 实现 我 国电 力 
行业 安全 稳固 发 展 具 有 重大 的 现实 意义 。 

近年 来 ， 大 数据 在 金融 、 保 险 、 零 售 、 互 联网 、 医 疗 、 电 力 等 众多 行业 快速 推广 ， 市 
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场 规模 迅速 扩大 。 中 国信 息 通信 研究 院 日 前 发 布 的 《中 国 大 数据 发 展 调研 报告 (2017) 》 
称 ，2016 年 中 国 大 数据 市 场 规模 达 168 亿 元 ， 预 计 2017 一 2020 年 仍 将 保持 30% 以 上 的 增 
长 。 大 数据 已 经 渗透 到 如 今 的 众多 行业 ， 成 为 重要 的 生产 要 素 。 

在 利用 大 数据 对 电网 安全 事故 进行 处 理 时 ， 首 先 要 对 电网 出 现 安全 事故 的 原因 进行 详尽 
了 解 ， 然 后 根据 事故 原因 明确 需要 进行 梳理 的 数据 结构 ， 再 对 数据 进行 汇总 、 清 理 、 变 换 、 
分 析 等 一 系列 收集 和 处 理工 作 ， 对 于 数据 的 错误 、 宛 余 、 缺 失 等 问题 要 合理 优化 数据 的 取舍 
与 收集 标准 ， 并 利用 数据 预 处 理 技术 提高 和 确保 数据 质量 。 电 力 企业 根据 大 数据 技术 处 理 得 
出 的 结论 有 针对 性 地 加 强 电网 安全 事故 方面 的 防范 措施 ， 更 好 地 保障 人 民 的 用 电 安全 。 


5.3.1 电网 安全 事故 监管 


电网 安全 事故 监管 是 电力 企业 的 基础 性 工作 ， 为 电力 企业 的 安全 运营 提供 了 必要 条 
件 。 为 了 实现 电网 安全 事故 监管 业务 的 网 络 化 ， 可 以 设计 安全 工作 报表 ， 安 全 工作 报表 包 
括 月 报 管理 、 季 报 管理 和 年 报 管理 。 通 过 报表 记录 下 各 个 事故 发 生 时 的 细节 ， 为 运用 大 数 
据 技术 的 数据 收集 提供 依据 ， 如 图 5. 1 所 示 。 
安全 工作 报表 


月 报 管理 | | 季报 管理 | | 年 报 管理 
图 5.1 电网 安全 事故 监管 


5.3.2 ”电网 安全 事故 报告 


在 电网 安全 事故 报告 工作 中 运用 大 数据 技术 ， 能 有 效 地 实现 数据 的 录入 、 审 核 、 上 
报 ， 以 及 上 级 单位 审查 、 发 布 的 全 过 程 数 据 化 处 理 ， 找 出 电网 安全 事故 的 原因 ， 更 好 地 保 
障 电网 的 安全 运营 ， 如 图 5. 2 所 示 。 


安全 事故 报告 


| I I 
攻 = 事故 报告 | | 事故 报告 | | 事故 报告 


| 
事故 报告 
录入 审核 上 报 审查 发 布 


图 5.2 电网 安全 事故 报告 


5.3.3 ”电网 安全 事故 统计 分 析 


电网 安全 事故 统计 分 析 是 指 根据 已 经 发 布 的 电网 安全 事故 报告 ， 对 报告 中 的 数据 记录 
进行 各 种 大 数据 统计 分 析 ， 从 而 形成 各 种 报表 及 图 形 ， 如 图 5. 3 所 示 。 


第 5 章 ”电网 大 数据 资源 


事故 统计 分 析 ” 七。 每 月 用 电报 表 
图 5.3 ”电网 安全 事故 统计 分 析 


5.3.4 ”电网 安全 事故 档案 管理 


档案 管理 包括 档案 的 收集 、 整 理 、 价 值 鉴定 、 保 管 、 统 计 和 提供 利用 等 活动 ， 各 项 
工作 都 必 不 可 少 ， 它 们 组 成 了 一 个 有 机 整体 ， 为 实现 档案 管理 系统 整体 功能 发 挥 各 自 的 作 
用 ， 相 互 关联 、 相 互 制约 。 电 网 安全 事故 档案 管理 存放 各 类 事故 资料 、 文 档 等 ， 为 日 后 运 
用 大 数据 技术 进行 事故 调查 采集 数据 提供 便利 ， 如 图 $.4 所 示 。 

事故 档案 管理 恩 。 事故 调查 报告 
图 5.4 电网 安全 事故 档案 管理 


5.3.5 ”电网 安全 事故 基础 信息 管理 
电网 安全 事故 基础 信息 管理 包括 电力 企业 和 其 他 外 部 企业 之 间 的 信息 管理 ， 各 电力 企 


业 之 间 的 信息 管理 ， 电 力 企 业 各 部 门 的 内 部 信息 管理 等 ， 使 今后 日 常 工作 中 的 报表 统计 和 
数据 管理 有 据 可 查 ， 如 图 5. 5 所 示 。 


基础 信息 管理 


电力 企业 和 | | 各 电力 企业 电力 企业 
其 他 外 部 企业 之 间 各 部 门 


图 5.5 ”电网 安全 事故 基础 信息 管理 


5.3.6 ”电网 安全 事故 用 户 管理 


电网 安全 事故 用 户 管理 是 指 对 电力 用 户 的 管理 ， 包 括 用 户 概况 分 析 、 用 户 忠 诚 度 分 
析 、 用 户 性 能 分 析 、 用 户 产 品 分 析 以 及 用 户 未 来 分 析 等 ， 如 图 5.6 所 示 。 通 过 运用 大 数据 
技术 对 电力 用 户 详细 资料 的 深入 分 析 可 满足 不 同 价值 观 的 个 性 化 需求 ， 提 高 客户 忠诚 度 和 
满意 度 ， 实 现 客户 价值 持续 贡献 ， 从 而 提高 电力 企业 自身 的 竞争 力 和 盈利 能 力 。 


用 户 概况 | 用 户 忠 诚 度 | 用 户 性 能 | | 用 户 产品 | | 用 户 未 来 
分 析 分 析 分 析 分 析 分 析 


图 5.6 ”电网 安全 事故 用 户 管理 


基于 大 数据 的 智慧 电网 技术 


5.3.7 ”电网 运行 安全 性 评价 分 析 模 型 


评价 指标 体系 的 构建 是 综合 评价 电网 运行 安全 性 的 核心 环节 。 在 遵循 科学 合理 的 评价 
原则 的 基础 上 ， 采 用 从 整体 到 局 部 的 分 层 递 阶 方法 ， 结 合 最 新 的 理论 研究 成 果 提 出 了 一 套 
新 的 安全 评价 指标 。 该 评价 指标 体系 包括 安全 供电 能 力 、 静 态 电 压 安全 性 、 拓 扑 结构 脆弱 
性 、 暂 态 安全 性 、 风 险 指标 5 个 方面 ， 每 一 方面 又 分 别 包含 各 自 的 分 指标 ， 以 便 从 不 同 的 
角度 加 以 量化 ， 从 不 同 的 角度 全 面 有 效 地 评价 电网 的 安全 水 平 。 

逼近 理想 点 法 是 基于 归 一 化 的 原始 数据 矩阵 ， 借 助 于 多 目标 决策 问题 的 “理想 解 ” 和 
“ 负 理想 解 ” 对 待 选 项 目 进行 排序 ， 将 既 要 靠近 理想 解 又 最 远离 负 理想 解 的 项 目 确定 为 最 
优 项 目的 一 种 排序 方法 。 该 模型 的 具体 算法 如 下 : 

设 有 n 个 备 选 方 案 ， 即 有 备 选 方案 集 4={41,，A4,，…，4,}， 备 选 方案 优 劣 评估 的 指标 
有 m 个 ， 记 为 指标 集 G ={Gl，G,，…，G,}。 

(1) 构造 原始 数据 矩阵 

通过 对 规模 等 级 相同 的 ?个 地 区 进行 评价 指标 的 定性 和 定量 计算 ， 获 得 地 区 电网 对 于 


评价 指标 集 的 初始 决策 矩阵 为 : 
三 加 
有 | (5-1) 
Pa Dim 


其 中 y (二 1，2，…，n; 三 1]，2,，…，m) 表示 备 选 方案 的 评价 指标 属性 值 。 

(2) 对 决策 矩阵 进行 标准 化 处 理 

通常 在 评价 体系 中 ， 存 在 着 两 种 不 同形 式 的 指标 : 正 指标 和 逆 指 标 。 在 对 不 同类 型 
的 指标 进行 标准 化 处 理 时 ， 应 采用 不 同 的 方法 ， 目 的 是 使 处 理 后 的 指标 都 具有 正 指标 的 性 
质 。 具 体 处 理 方法 如 下 : 

对 于 正 指标 ， 一 般 可 令 : 

石 = 才艺， 
—» 


上 


式 中 ，yr”™、y™ 分别 为 G 指 标的 最 大 值 和 最 小 值 。 
对 于 逆 指 标 ， 一 般 可 令 : 


i=1,2,…,n C2 


,= ,i (5-3) 
= 
各 评价 指标 的 原始 值 经 过 标准 化 处 理 后 取 值 范围 均 为 0 一 1。 由 此 得 到 标准 化 矩阵 : 
大 =max; yj,i=1,2,.…,n (5-4) 


VW =min; yj,i=1,2,.…,n (5:5) 
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(3) 确定 正 理想 解 与 负 理想 解 

所 谓 正 理想 解 是 指 每 一 准则 项 目 中 选 出 的 最 大 评估 值 ， 成 为 正 理想 解 的 结合 ， 负 理想 
解 则 相反 。 

(4) 计算 各 评价 对 象 与 正 理想 解 D' 与 负 理想 解 D 之 间 的 距离 


p= Er -nT G50 
Dr = rT (5-7) 


(5) 计算 各 评价 对 象 与 正 理想 解 之 间 的 贴近 度 
计算 诸 评 价 对 象 与 最 优 方案 的 接近 程度 C， 其 计算 公式 如 下 : 
C=D- /(D- +D:) (5-8) 
其 中 C 越 接近 1， 表 示 该 评价 对 象 越 接 近 正 理想 解 ， 即 最 具 竞 争 力 。 
(6) 对 评价 对 象 进行 排序 
将 (5) 计算 出 的 结果 按照 C 值 排序 ，C 值 越 大 表示 离 理想 方案 越 近 。 亦 即 第 ;个 备 选 方 
案 优 于 其 他 方案 。 据 此 ， 可 排出 优 劣 次 序 。 


5.3.8 促进 我 国电 力行 业 大 数据 发 展 的 措施 


在 发 展 电力 行业 大 数据 时 ， 应 加 大 对 大 数据 安全 形势 的 宣传 力度 ， 明 确 其 为 重点 的 保障 
对 象 ， 加 强 对 敏感 和 要 害 数据 的 监管 ， 制 定 设备 特别 是 移动 设备 安全 使 用 规程 ， 规 范 大 数据 
的 使 用 方法 和 流程 。 加 快 面向 大 数据 的 信息 安全 技术 的 研究 ， 推 动 基于 大 数据 的 安全 技术 研 
发 ， 研 究 基于 大 数据 的 网 络 攻击 追踪 方法 ， 抢 占 发 展 基于 大 数据 的 安全 技术 的 先 机 。 结 合 实 
际 情况 在 电力 生产 、 用 户 用 电 、 企 业 运营 等 数据 量 大 的 领域 引导 行业 厂商 参与 ， 关 注 电力 行 
业 的 特点 ， 快 速 开展 电力 大 数据 的 实践 应 用 ， 从 简单 到 深入 ， 循 序 渐进 ， 逐 步 深 入 。 

打破 各 电力 企业 之 间 、 电 力 企业 内 部 各 部 门 之 间 的 数据 壁垒 ， 推 动 电力 企业 间 数 据 共 
享 的 形成 ， 建 设 电力 行业 统一 的 数据 中 心 ， 开 发 电力 大 数据 模型 ， 挖 掘 电力 大 数据 价值 ， 
为 电力 企业 提供 完善 的 信息 服务 。 

结合 电力 行业 大 数据 的 实际 发 展 情况 ， 统 筹 考虑 、 统 一 规划 ， 开 展 大 数据 技术 行业 人 
才 的 培养 工作 ， 为 积极 推动 电力 大 数据 发 展 提供 坚强 的 人 力 资源 保障 。 

电力 大 数据 一 方面 能 够 与 宏观 经 济 和 人 民生 活 的 信息 充分 融合 ， 促 进 社会 经 济 发 展 ， 男 一 
方面 ， 它 是 电力 行业 或 企业 内 部 跨 专 业 、 跨 单位 和 跨 部 门 的 数据 融合 ， 可 提升 企业 管理 水 平和 
经 济 效益 。 在 电网 安全 方面 ， 坚 强 智能 电网 建设 对 数据 的 管理 和 共享 提出 了 更 高 的 要 求 。 

大 数据 技术 是 未 来 社会 发 展 的 一 个 大 方向 ， 随 着 大 数据 技术 的 不 断 发 展 和 应 用 ， 电 力 
企业 的 数据 也 会 爆发 式 增长 ， 对 电网 安全 事故 方面 的 研究 会 更 加 人 全面、 准确， 有 利于 减少 
电网 安全 事故 的 发 生 频 率 ， 保 障 人 民 的 生命 健康 安全 。 大 数据 技术 通过 良好 的 数据 管理 将 
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切实 提高 电力 生产 、 电 力 营 销 、 电 网 安全 以 及 电网 运 维 等 各 方面 生产 管理 水 平 ， 为 使 中 国 
电力 企业 继续 立 于 世界 先进 行列 提供 强大 的 信息 技术 支撑 。 


5.4 大 数据 对 电网 服务 体系 的 影响 


智能 电网 将 是 下 一 代 的 电力 基础 设施 ， 与 我 们 经 常见 到 的 高 压 电 传输 相 比 ， 智 能 电网 
更 先进 可 靠 。 智 能 电网 有 着 非常 复杂 的 监控 、 通 信和 发 电 系统 ， 可 以 提供 稳定 的 服务 ， 如 
果 出 现 停电 或 其 他 问题 ， 可 以 更 好 更 快 地 恢复 。 各 类 传感器 和 监控 设备 记录 了 电网 本 身 和 
流 经 电流 的 许多 信息 。 

智能 电网 顾名思义 就 是 电网 的 智能 化 ， 也 被 称 为 “电网 2.0”， 它 是 建立 在 集成 的 、 
高 速 双 向 通信 网 络 基础 上 ， 通 过 先进 的 传 感 和 测量 技术 、 先 进 的 设备 、 先 进 的 控制 方法 以 
及 先进 的 决策 支持 系统 的 应 用 ， 实 现 电 网 的 可 靠 、 安 全 、 经 济 、 高 效 、 环 境 友 好 和 使 用 安 
全 等 目标 ， 其 主要 特征 包括 协调 、 自 愈 、 兼 容 和 经 济 、 抵 御 攻击 、 提 供 满足 21 世 纪 用 户 需 
求 的 电能 质量 、 容 许 各 种 不 同 发 电 形式 的 接 入 、 启 动 电力 市 场 以 及 资产 的 优化 高 效 运行 。 

根据 国内 外 的 研究 并 结合 我 国电 科 院 各 研究 的 大 数据 应 用 需求 分 析 ， 我 们 国家 的 智能 
电网 大 数据 重点 在 3 个 方面 开展 : 一 是 服务 社会 、 政 府 部 门 及 相关 行业 ;二 是 服务 电力 用 
户 ; 三 是 支持 电网 自身 的 发 展 和 运营 。 每 个 方向 包含 了 若干 技术 领域 ， 如 表 5.1 所 示 。 

表 5.1 智能 电网 大 数据 重点 方向 和 领域 


方 ” 向 重点 领域 


社会 经 济 状况 分 析 和 预测 
服务 社会 、 政 府 部 门 及 相关 行业 相关 政策 制定 依据 和 效果 分 析 
风电 、 光 伏 、 储 能 设备 技术 性 能 分 析 


需求 侧 管理 /需求 响应 
用 户 效能 分 析 
客户 服务 质量 分 析 与 优化 
业 扩 报 装 等 营销 业务 辅助 分 析 
供电 服务 与 情 监测 预警 分 析 
电动 汽车 充电 设施 建设 部 署 
电力 系统 暂 态 稳定 性 分 析 和 控制 
基于 电网 设备 在 线 监 测 数据 的 故障 诊断 与 状态 检修 
短期 / 超 短 期 负荷 预测 
配 电网 故障 定位 
支持 公司 运营 和 发 展 防 窃 电 管理 

电网 设备 资产 管理 

储 能 技术 应 用 


面向 电力 用 户 服务 
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5.4.1 ”服务 社会 与 政府 部 门类 应 用 领域 


1. 社会 经 济 状 况 分 析 和 预测 


电力 关系 到 经 济 发 展 、 社 会 稳定 和 群众 生活 ， 电 力 需 求 变 化 是 经 济 运行 的 “晴雨 表 ” 
和 “风向 标 ”， 能 够 真实 、 客 观 地 反映 国民 经 济 的 发 展 状况 与 态势 。 智 能 电网 中 部 署 的 智 
能 电表 和 用 电信 息 采集 系统 可 获取 详细 的 用 户 用 电信 息 。 用 电信 息 采 集 系 统 与 营销 系统 所 
累积 的 电量 数据 属于 海量 数据 ， 需 要 采用 大 数据 技术 来 实现 多 维度 统计 分 析 、 历 史 电 量 数 
据 比 对 分 析 、 经 济 数据 综合 分 析 等 大 数据 量 分 析 工 作 。 对 用 户 电量 数据 从 行业 、 区 域 、 电 
价 类 别 多 维度 地 开展 用 电 情 况 统计 分 析 ， 提 取 全 社会 用 电量 及 相应 社会 经 济 指标 ， 分 析 用 
电 增 长 与 相应 社会 经 济 指标 的 关联 关系 ， 归 纳 总 结 各 指标 增长 率 与 全 社会 用 电 情况 的 一 般 
规律 。 通 过 对 用 户 用 电 数 据 的 分 析 ， 可 为 政府 了 解 和 预测 全 社会 各 行业 发 展 状况 和 用 能 状 
况 提 供 基 础 ， 为 政府 就 产业 调整 、 经 济 调控 等 做 出 合理 决策 提供 依据 。 


2. 相关 政策 制定 依据 和 效果 分 析 


通过 分 析 行业 的 典型 负荷 曲线 、 用 户 的 典型 曲线 及 行业 的 参考 单位 GDP 能 耗 ， 可 为 政 
府 制 定 新 能 源 补 贴 、 电 动 汽车 补贴 、 电 价 激励 机 制 〈 如 分 时 电价 、 阶 梯 电 价 ) 、 能 效 补贴 
等 国家 和 地 方 政策 提供 依据 ， 也 可 为 政府 优化 城市 规划 、 发 展 智慧 城市 、 合 理 部 署 电 动 汽 
车 充电 设施 提供 重要 参考 ， 还 可 以 评估 不 同 地 区 、 不 同类 型 用 户 的 实施 效果 ， 分 析 其 合理 
性 ， 提 出 改进 建议 。 


5.4.2 面向 电力 用 户 服务 类 应 用 领域 


1. 需求 侧 管 理 /需求 响应 


根据 不 同 的 气候 条 件 〈 如 潮湿 、 干 燥 地 带 ， 气 温 高 、 低 地 区 ) 、 不 同 的 社会 阶层 将 用 
户 进行 分 类 ; 对 于 每 一 类 用 户 又 可 绘制 不 同 用 电 设备 的 日 负荷 曲线 ， 分 析 其 主要 用 电 设备 
的 用 电 特 性 ， 包 括 用 电量 出 现 的 时 间 区 间 、 用 电量 影响 因素 ， 以 及 是 否 可 转移 、 是 否 可 削 
减 等 ， 对 于 会 受 天 气 影响 的 用 电 设备 ， 如 热水器 、 空 调 等 ， 需 分 析 其 对 天 气 的 敏感 性 。 当 
然 ， 不 同 的 季节 以 及 每 天 的 不 同时 间 ， 用 户 用 电 对 天 气 的 敏感 性 都 是 不 同 的。 分 析 不 同 用 
户 对 电价 的 敏感 性 ， 包 括 在 不 同 季节 、 不 同时 间 对 电价 的 敏感 性 。 在 分 类 分 析 的 基础 上 ， 
通过 聚合 ， 可 得 到 某 一 片区 域 或 某 一 类 用 户 可 提供 的 需求 响应 总 量 ， 再 分 析 哪 一 部 分 容 
量 、 多 少时 间 段 的 需求 响应 量 是 可 靠 的 。 分 析 结 果 可 为 制定 需求 管理 /响应 激励 机 制 提供 
依据 。 


基于 大 数据 的 智 丰 电网 技术 


2. 用 户 能 效 分 析 和 管理 


对 用 户 进行 用 电 效 率 分 析 ， 首 先 需 要 采集 到 用 户 使 用 的 电器 分 类 用 电 数 据 。 在 智能 电 
表 部 署 之 前 ， 多 采用 侵入 式 方法 ， 例 如 在 不 同 的 用 电 设备 接线 处 加 装 传感器 ， 由 传感器 获 
取 不 同 用 电器 的 数据 后 ， 通 过 与 典型 数据 、 平 均 数据 进行 比 对 给 出 能 效 分 析 结 论 。 在 智能 
电表 大 量 部 署 的 情况 下 ， 由 于 智能 电表 可 以 获得 较 短 时 间 间 隔 的 用 电 数据 ， 无 须 再 加 装 传 
感 器 ， 可 以 通过 电表 数据 ， 识 别 用 户 端的 不 同类 型 负荷 比例 ， 并 与 典型 数据 比 对 得 出 能 效 
分 析 结 果 。 

从 海量 用 户 的 负荷 曲线 ， 采 用 数据 挖掘 技术 ， 按 照 特 定 的 函数 算法 ， 按 行业 、 季 度 
聚合 成 行业 的 典型 负荷 曲线 模型 ， 然 后 将 所 有 的 用 户 负荷 曲线 与 行业 典型 负荷 曲线 进行 对 
比 ， 分 析出 与 典型 负荷 曲线 变化 趋势 不 一 致 的 用 户 ， 由 此 对 用 户 的 能 效 给 出 评价 ， 并 提出 
改进 建议 。 


3. 业 扩 报 装 等 营销 业务 辅助 分 析 


业 扩 报 装 辅助 分 析 以 营 配 集成 为 纽带 ， 将 用 电信 息 采 集 系 统 、 营 销 系统 和 PMS 及 
SCADA 系 统 的 数据 相 融 合 ， 实 现 对 变电站 、 线 路 及 下 挂 用户 和 台 区 的 负荷 、 电 量 监测 分 
析 ， 为 加 快 业 扩 报 装 的 速度 和 提高 供电 服务 水 平 提供 技术 支撑 。 同 时 极 大 地 提高 了 电网 设 
备 运行 的 可 靠 性 ， 为 优化 配 电网 结构 ， 降 低 电网 生产 故障 ， 提 高 公司 用 电 营 销 管理 精益 化 
水 平 提供 了 手段 。 


4. 供电 服务 与 情 监测 预警 分 析 


通过 与 微 博 、 微 信 等 互联 网 新 媒体 的 服务 对 接 机 制 收集 海量 用 电信 息 、 用 户 信息 以 
及 互联 网 与 论 信息 ， 建 设 大 数据 与 情 监 测 分 析 体 系 。 利 用 大 数据 采集 、 存 储 、 分 析 、 挖 
掘 技术 ， 从 互联 网 海量 数据 中 挖掘 、 提 炼 关键 信息 ， 建 立 负面 信 息 关联 分 析 监 测 模型 ， 
及 时 洞察 和 响应 客户 行为 ， 拓 展 互 联网 营销 服务 渠道 ， 提 升 企业 精益 营销 管理 和 优质 服 
务 水 平 。 


5$. 电动 汽车 充电 设施 建设 部 署 


融合 电动 汽车 用 户 信息 、 居 民 信息 、 配 电网 数据 、 用 电信 息 数据 、 地 理 信 息 系统 数 
据 、 社 会 经 济 数据 等 ， 可 利用 大 数据 技术 预测 电动 汽车 的 短 中 长 期 保有 量 、 发 展 规模 和 趋 
势 、 电 量 需求 和 最 大 负荷 等 情况 。 参 照 交通 密度 、 用 户 出 行 方式 、 充 电 方式 偏好 等 因素 ， 
依据 城市 与 交通 规划 以 及 输电 网 规划 ， 建 立 电动 汽车 充电 设施 规划 模型 和 后 评估 模型 ， 为 
电动 汽车 充电 设施 的 部 署 方案 制定 和 建设 后 期 的 效能 评估 提供 依据 。 
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5.4.3 支持 公司 运营 和 发 展 类 应 用 领域 


1. 电力 系统 暂 态 稳定 性 分 析 和 控制 


在 线 暂 态 稳定 分 析 与 控制 一 直 是 电力 运行 人 员 追 求 的 目标 ， 随 着 互联 电网 规模 越 来 越 
大 ，“ 离 线 决策 ， 在 线 匹配 ”和 “在 线 决策 ， 实 时 匹配 ”的 暂 态 稳定 分 析 与 控制 模式 已 不 
能 满足 大 电网 安全 稳定 运行 的 要 求 ， 因 而 逐渐 向 “实时 决策 ， 实 时 控制 ”的 方向 发 展 。 

基于 WAMS 数 据 的 电力 系统 暂 态 稳定 判 据 和 控制 策略 决策 已 有 很 多 研究 成 果 ， 但 目 
前 主要 停留 在 理论 研究 阶段 ， 并 没有 付 诸 实施 。 在 大 数据 理论 和 技术 指导 下 ， 需 要 将 现 有 
的 分 析 方法 与 数据 的 处 理 技术 相 结合 ， 不 仅 需 要 考虑 计算 速度 能 否 满足 需求 ， 还 需要 考虑 
数据 的 缺失 和 错误 对 分 析 结 果 的 影响 等 问题 。 此 外 ， 如 何 将 分 析 结 果 用 直观 的 方法 展示 出 
来 ， 有 效 指导 运行 人 员 做 出 科学 的 决策 ， 也 是 需要 解决 的 问题 。 


2. 基于 电网 设备 在 线 监测 数据 的 故障 诊断 与 状态 检修 


在 实现 GIS、PMS、 在 线 监测 系统 等 各 类 历史 数据 和 实时 数据 融合 的 基础 上 ， 应 用 大 
数据 技术 进行 故障 诊断 ， 并 为 状态 检修 提供 决策 ， 可 实现 对 电网 设备 关键 性 能 的 动态 评估 
与 基于 复杂 相关 关系 识别 的 故障 诊断 ， 为 解决 现 有 状态 维修 问题 提供 技术 支撑 。 


3. 短期 / 超 短 期 负荷 预测 


分 布 式 能 源 和 微 网 的 并 网 增加 了 负荷 预测 和 发 电 预测 的 复杂 程度 。 负 荷 预测 也 必须 考 
虑 到 天 气 的 影响 以 及 能 源 交 易 状况 ， 包 括 市 场 引导 下 的 需求 响应 等 。 传 统 的 预测 方法 无 法 
体现 某 些 因素 对 负荷 的 影响 ， 从 根本 上 限制 了 其 应 用 范围 和 预测 精度 。 应 用 大 数据 技术 建 
立 各 类 影响 因素 与 负荷 预测 之 间 的 量化 关联 关系 ， 有 针对 性 地 构建 负荷 预测 模型 ， 可 更 加 
精确 地 预测 短期 / 超 短 期 负荷 。 


4. 配 电网 故障 定位 


利用 大 数据 技术 ， 配 合 故 障 投诉 系统 ， 融 合 SCADA、EMS、DMS、D-SCADA 等 系统 
中 的 数据 做 出 最 优 判 断 ， 建 立新 型 配 电网 故障 管理 系统 ， 可 以 快速 定位 故障 ， 应 对 故障 停 
电 问 题 ， 提 高 供电 可 靠 性 。 此 外 ， 随 着 分 布 式 电源 在 系统 中 比重 的 逐渐 增加 ， 其 接 入 会 影 
响 到 系统 保护 的 定 值 及 定位 判 据 。 对 于 带 分 布 式 电源 的 配 电 网 故障 定位 也 要 根据 不 同 的 并 
网 要 求 选择 合适 的 定位 策略 。 


S. 防 窃 电 管理 


电力 公司 通过 对 电量 差 动 越 限 、 断 相 、 线 损 率 超标 、 异 常 告警 信息 、 电 表 开 盖 事 件 
等 数据 的 综合 分 析 ， 可 建立 窃 电 行为 分 析 模型 ， 对 用 户 窃 电 行为 进行 预警 ;通过 营 配 系 
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统 数据 融合 ， 可 比较 用 户 负 荷 曲线 、 电 表 电 流 、 电 压 和 功率 因数 数据 和 变压器 负载 ， 结 
合 电网 运行 数据 ， 实 现 具 体 线路 的 线 损 日 结算 ， 通 过 线 损 管理 功能 不 仅 可 以 知道 实施 窃 
电 用 户 所 在 的 具体 线路 ， 还 可 以 定位 至 某 一 具体 用 户 ， 克 服 目 前 检查 范围 广 ， 查 处 难度 
大 的 问题 。 


6. 电网 设备 资产 管理 


基于 电网 设备 信息 、 运 行 信息 、 环 境 信息 (气象 、 气 候 等 ) 以 及 历史 故障 和 缺陷 信 
息 ， 从 设备 或 项 目的 长 期 利益 出 发 ， 全 面 考虑 不 同 种 类 、 不 同 运行 年 限 设备 的 规划 、 设 
计 、 人 制造 、 购 置 、 安 装 、 调 试 、 运 行 、 维 护 、 改 造 、 更 新 直至 报废 的 全 过 程 ， 寻 求 寿命 周 
期 成 本 最 小 的 一 种 管理 理念 和 方法 。 依 据 交通 、 路 政 、 市 政 等 可 能 具备 的 外 部 信息 ， 如 工 
程 施工 、 季 节 特 点 、 树 木 生长 、 工 程 车 GPS 等 外 部 信息 ， 关 联 电网 设备 及 线路 GPS 坐 标 ， 
对 电网 外 力 破坏 故障 进行 预警 分 析 。 


7. 储 能 技术 应 用 


由 于 储 能 系统 大 多 是 由 数量 庞大 的 电池 单 体 组 成 〈 动 辑 以 万 计 ) ， 每 个 电池 单 体 又 
包含 单 体 电压 、 电 流 、 功 率 、 电 池 荷 电 状 态 、 平 均 温 度 、 故 障 状态 等 相关 信息 ， 汇 总 起 
来 整个 电站 监测 信息 可 能 达到 数 十 万 个 点 ， 储 能 的 相关 数据 量 十 分 庞大 。 利 用 大 数据 
分 析 技 术 ， 可 对 储 能 监控 系统 相关 数据 进行 有 效 采 集 、 处 理 与 分 析 ， 为 储 能 应 用 提供 
依据 。 


8. 城市 电网 规划 


通过 实现 用 户 用 电 数据 、 用 户 停电 数据 、 城 市 电力 服务 数据 〈95598 客 服 电话 ) 、 基 
于 GIS 的 城市 配 电 网 拓扑 结构 和 设备 运行 数据 、 城 市 供电 可 靠 性 数据 、 气 候 数据 和 天 气 预 
报 数据 、 电 动 汽车 充电 站 建设 及 利用 数据 、 人 口 数据 、 城 市 社会 经 济 数据 、 城 市 节能 和 新 
能 源 政策 及 实施 效果 数据 、 分 布 式 能 源 建设 和 运行 数据 以 及 社交 网 站 数据 的 整合 ， 识 别 城 
市 电网 薄弱 环节 ， 辅 助 城市 电网 规划 。 在 上 述 数据 融合 的 基础 之 上 ， 利 用 人 口 调查 信息 、 
用 户 实时 用 电信 息 和 地 理 、 气 象 等 信息 绘制 “电力 地 图 ”， 可 以 街区 为 单位 ， 反 映 不 同 
时 刻 的 用 电量 ， 并 将 用 电量 与 人 的 平均 收入 、 建 筑 类 型 等 信息 进行 比照 。 通 过 “电力 地 
图 ”， 能 以 更 优 的 可 视 化 效果 反映 出 区 域 经 济 状况 及 各 群体 的 行为 习惯 ， 为 电网 规划 决策 
提供 直观 依据 支撑 。 

智能 电网 技术 已 经 在 欧洲 和 美洲 开始 广泛 应 用 。 我 国 从 2009 年 以 来 ， 国 家 电网 公司 全 
面 推动 了 智能 电表 的 安全 和 应 用 ， 截 至 2017 年 12 月 ， 更 新 智能 电表 4.5 亿 只 ， 安 装 数据 采 
集 终端 超过 4000 万 台 ， 覆 盖 了 超过 99% 的 用 电 客户 。 我 们 相信 在 不 久 的 将 来 ， 世 界 上 每 一 
处 电网 都 会 被 智能 电网 取代 。 电 力 公司 因为 使 用 了 智能 电网 ， 他 们 所 掌握 的 耗 电 数据 量 会 
以 指数 级 增长 。 
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这 类 数据 要 怎样 使 用 ? 

从 用 电 管理 的 角度 来 看 ， 智 能 电表 数据 可 以 帮助 人 们 更 好 地 理解 电网 中 客户 的 需求 层 
次 。 此 外 ， 这 些 数据 也 可 以 使 消费 者 受益 。 例 如 业主 可 以 选择 把 待 测试 的 电器 打开 ， 与 此 
同时 保持 其 他 电器 的 稳定 ， 这 时 从 智能 电表 处 可 以 监控 到 详细 的 电力 消耗 情况 ， 这 样 我 们 
就 可 以 明确 地 测量 出 各 种 电器 究竟 消耗 了 多 少 电量 。 

世界 各 国 的 电力 公司 现在 都 已 经 在 积极 地 转向 这 样 的 定价 模型 ， 即 按时 间或 需求 量 的 
变化 来 定价 ， 智 能 电网 的 出 现 加 速 了 这 种 趋势 。 电 力 公司 的 主要 目标 之 一 是 利用 新 的 定价 
程序 来 影响 客户 行为 ， 减 少 高 峰 时 段 的 用 电量 。 为 了 应 对 用 电 高 峰 需 要 另 建 发 电站 ， 需 要 
一 大 笔 钱 而 且 还 会 对 环境 造成 很 大 的 影响 。 如 果 用 电 成 本 可 以 灵活 地 根据 时 间 来 设 定 ， 并 
由 智能 电表 来 测量 ， 我 们 就 可 以 促使 客户 改变 他 们 的 用 电 行 为 。 较 低 的 峰值 和 较为 平稳 的 
用 电 需 求 等 同 于 更 少 的 对 新 基础 设施 的 需求 和 更 低 的 成 本 。 

当然 ， 电 力 公司 通过 智能 电表 提供 的 数据 还 能 识别 出 其 他 的 各 类 趋势 ， 如 哪些 地 方 的 
用 电量 有 所 回落 ? 哪些 消费 者 每 天 或 每 周 的 用 电 需 求 比较 相同 ? 电力 公司 可 以 根据 使 用 模 
式 对 客户 进行 分 类 ， 以 针对 某 些 特定 的 群体 开发 产品 和 活动 。 使 用 这 些 数据 还 可 以 识别 出 
模式 出 现 异 常 的 那些 地 方 ， 它 们 揭示 了 需要 解决 的 问题 。 

实际 上 ， 电 力 公司 有 能 力 执行 其 他 行业 已 经 使 用 多 年 的 客户 分 析 工作 。 例 如 ， 电 信 
公司 知道 客户 月 底 的 所 有 账单 ， 但 并 不 知道 具体 的 通话 内 容 ， 零 售 商店 只 知道 整体 销售 状 
况 ， 而 不 知道 顾客 任何 购买 的 细节 信息 ; 金融 机 构 知 道 客户 的 月 终 余额 ， 但 并 不 了 解 客 
户 这 个 月 的 资金 流动 状况 。 从 很 多 方面 讲 ， 电 力 公司 面 对 的 这 类 数据 对 于 理解 客户 而 言 
仍 略 显 不 足 ， 他 们 也 有 简单 的 月 终 汇总 数据 ， 但 这 种 月 结 数 据 往 往 是 估计 值 而 不 是 实际 
的 耗 电 量 。 

有 了 智能 电表 数据 ， 电 力 公司 就 可 以 进行 全 新 的 分 析 ， 使 大 众 全 都 受益 。 消 费 者 可 以 
根据 自己 的 使 用 模式 定制 费 率 套餐 ， 就 像 车 载 信息 服务 支持 个 性 化 的 汽车 保险 费 率 那样 。 
高 峰 时 段 用 电 客 户 比 非 高 峰 时 段 用 电 客 户 的 收费 要 高 。 面 对 这 样 的 刺激 政策 ， 客 户 会 改变 
自己 的 用 电 模式 ， 比 如 可 能 用 户 会 选择 在 非 高 峰 时 间 再 使 用 洗 碗 机 而 不 是 吃 完 午饭 就 马上 
使 用 。 

电力 公司 也 会 有 更 准确 的 需求 预测 ， 他 们 能 更 清晰 地 识别 出 需求 来 自 于 哪些 地 方 ， 
还 能 了 解 某 一 类 客户 在 某 个 时 间 的 用 电 需 求 。 电 力 公司 可 以 使 用 不 同 的 方法 来 驱动 各 种 行 
为 ， 使 需求 更 加 平稳 ， 并 降低 异常 需求 峰值 出 现 的 频率 。 所 有 这 些 都 会 使 对 昂贵 的 新 发 电 
设备 的 需求 受到 抑制 。 

每 一 个 家 庭 、 每 一 个 行业 都 能 感受 到 智能 电表 数据 产生 的 威力 ， 这 些 数据 能 够 让 电力 
公司 更 好 地 跟踪 、 更 积极 地 管理 用 电 情况 ， 这 样 不 仅 能 节约 用 电 ， 使 这 个 世界 更 加 低 碳 ， 
还 可 以 省 钱 。 如 果 客 户 能 清楚 地 知道 自己 的 耗 电 量 比 预期 要 多 ， 肯 定 就 会 根据 需要 做 出 适 
当 调 整 ， 而 只 使 用 每 月 账单 ， 客 户 将 无 法 识别 出 这 种 机 会 。 但 是 ， 使 用 智能 电表 数据 将 使 
这 一 切 变 得 简单 。 
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5.5 大 数据 对 电网 商业 价值 的 影响 


在 “互联 网 +”“ 工 业 4.0”“ 共 享 经 济 ”等 不 同 热 词 的 引领 下 ， 现 今 的 中 国 经 济 有 了 一 
系列 新 的 阐释 。 虽 然 这 些 主张 不 尽 相同 ， 但 核心 思想 都 与 大 数据 有 着 密切 的 关系 。 大 数据 
对 打通 业务 壁垒 、 发 现 商 业 价值 具有 重要 支撑 作用 ， 促 进 了 互联 网 、 金 融 等 领域 企业 的 市 
场 开 拓 、 产 品 研发 、 客 户 服务 。 

国务 院 相继 印发 《运用 大 数据 加 强 对 市 场 主体 服务 和 监管 的 若干 意见 》 及 《促进 大 
数据 发 展 行动 纲要 》， 这 表明 大 数据 已 上 升 为 国家 战略 ， 并 具备 推动 传统 产业 升级 转型 
的 重要 作用 。 由 大 数据 带 来 的 商业 模式 创新 ， 也 给 企业 带 来 了 新 的 发 展 契 机 ， 电 网 企业 
亦 是 如 此 。 

但 电网 企业 大 数据 在 应 用 方面 有 两 种 做 法 不 可 取 。 

一 是 将 大 数据 作为 新 概念 ， 将 原 有 商业 模式 、 管 理 模式 进行 包装 ， 最 终结 果 往 往 过 于 
空洞 是 不 尽 如 和 人意。 

二 是 将 大 数据 作为 新 的 IT 技术 ， 在 没有 明确 战略 意义 与 发 展 路 径 的 前 提 下 ， 仅 依靠 信 
息 化 应 用 的 方式 实施 推广 ， 最 终结 果 往 往 成 为 信息 系统 的 立项 依据 且 发 挥 作 用 有 限 。 

电网 企业 如 何 应 用 大 数据 ， 如 何 使 之 成 为 推动 管理 创新 、 商 业 模式 创新 与 产业 革命 的 
内 在 动力 ， 成 为 大 数据 应 用 中 的 关键 问题 。 要 实现 电网 大 数据 的 商业 模式 创新 ， 建 立 大 数 
据 的 系统 思维 至 关 重 要 ， 表 现 为 应 用 格局 、 应 用 主线 与 应 用 基础 3 个 方面 。 

首先 ， 要 建立 能 源 大 数据 的 商业 生态 系统 格局 。 这 意味 着 电网 企业 开展 大 数据 应 用 
不 能 局 限于 本 企业 掌握 的 电力 数据 及 相关 客户 数据 、 设 备 数据 ， 而 应 从 促进 能 源 生产 、 供 
应 、 存 储 、 消 费 的 产业 格局 方面 发 挥 电网 企业 的 数据 资源 优势 。 未 来 电网 企业 要 将 电力 、 
燃气 等 能 源 领域 数据 及 人 口 、 地 理 、 气 象 等 其 他 领域 数据 进行 综合 采集 、 处 理 、 分 析 与 应 
用 ， 发 挥 能 源 大 数据 “黏合 剂 ” 与 “ 助 推 剂 ”作用 ， 在 产业 层面 探索 建立 具有 “平台 ” 特 
征 的 完整 能 源 生态 系统 。“ 黏 合剂 ”主要 是 指 对 其 他 企业 的 吸引 力 以 及 形成 平台 模式 后 的 
协同 效应 ，“ 助 推 剂 ”主要 是 指 对 能 源 产业 生产 、 消 费 革 命 以 及 企业 发 展 转型 的 推动 作 
用 。 对 电网 企业 来 说 ， 在 以 能 源 大 数据 为 基础 的 生态 系统 中 占据 主导 地 位 具有 十 分 重要 的 
意义 : 一 方面 ， 电 网 企业 的 价值 将 不 再 局 限于 传输 电力 流 的 物理 怖 利 模式 ， 而 是 能 够 通过 
信息 、 知 识 、 数 据 的 汇集 与 分 享 创造 价值 ， 增 强 核心 竞争 力 ， 另 一 方面 ， 电 网 企业 通过 吸 
引 社 会 资本 及 不 同 主体 的 参与 ， 共 建 互利 合作 的 商业 环境 ， 来 提升 企业 的 科技 创新 与 可 持 
续 发 展 能 力 。 

其 次 ， 要 以 电力 能 源 价值 链 延 伸 为 主线 ， 转 变 应 用 模式 。 电 网 面向 内 部 大 数据 分 析 、 
应 用 已 具备 成 熟 基础 ， 在 电力 负荷 预测 、 电 网 设备 状态 监测 、 配 网 故障 抢修 精益 化 管理 等 
方面 积累 了 大 量 经 验 。 未 来 ， 电 网 企业 对 数据 资产 的 应 用 重点 将 体现 内 部 数据 与 外 部 数据 
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的 交叉 应 用 ， 这 也 将 进一步 拓展 企业 商业 空间 ， 实 现 业 务 价值 链 向 电网 外 部 延伸 。 一 方 
面 ， 由 发 现 电网 运行 规律 转向 提升 用 户 价值 。 在 电力 供给 、 需 求 、 客 户 负荷 特征 等 数据 分 
析 基 础 上 ， 注 重 对 用 户 的 数据 挖掘 与 价值 发 现 。 在 电力 需求 侧 管理 、 家 庭 能 源 管理 、 节 能 
服务 、 智 能 家 居 、 合 同 能 源 管理 、95598 客 户 服务 等 业务 中 缩短 与 用 户 的 距离 ， 挖 掘 用 户 
行为 的 特点 ， 加 强 对 用 户 需 求 与 体验 的 引导 与 满足 ， 这 不 仅 使 公司 具备 应 对 电力 市 场 化 改 
革 与 数据 化 竞争 的 技术 优势 ， 还 会 为 社会 促进 节能 减 排 、 实 现 “两 个 替代 ”等 做 出 贡献 。 
另 一 方面 ， 由 支撑 内 部 管理 转向 提供 外 部 服务 ， 公 司 不 仅 能 够 通过 数据 分 析 提 升 运营 管理 
效率 ， 还 可 将 数据 资产 作为 一 项 产品 或 服务 进行 变现 。 一 是 借鉴 大 数据 交易 所 的 运营 模 
式 ， 将 底层 数据 清洗 、 脱 敏 、 建 模 ， 转 化 为 可 视 化 后 的 数据 结果 ， 使 数据 资产 能 够 在 隐私 
得 到 保护 的 前 提 下 进行 交易 ;， 二 是 对 相关 行业 提供 数据 咨询 服务 ， 如 用 电 行业 能 耗 数据 、 
居民 用 电 特 征 数据 、 电 力 数 据 APP 软 件 等 ， 三 是 提供 征 信 数据 产品 ， 向 P2P、 商 业 银 行 等 
终端 客户 广泛 提供 信用 报告 、 信 用 评分 及 反 欺 诈 、 商 业 决策 等 产品 。 

最 后 ， 要 加 快 建设 统一 的 基础 数据 管理 平台 ， 形 成 平等 、 共 享 的 创新 创业 氛围 。 以 往 
电网 企业 在 数据 利用 方面 以 业务 系统 设计 的 功能 为 主 ， 数 据 可 二 次 利用 程度 较 低 ， 不 利于 
不 同 部 门 、 员 工 开展 商业 模式 创新 。 产 生 这 种 情况 的 主要 原因 是 各 信息 系统 的 数据 编码 、 
元 数据 规则 不 同 ， 且 一 些 信息 系统 在 初期 开发 阶段 就 将 功能 固化 难以 二 次 修改 完善 。 未 
来 ， 围 绕 基础 数据 的 融合 、 共 享 是 开展 商业 模式 创新 的 重要 前 提 与 基础 。 一 方面 ， 建 设 统 
一 的 基础 数据 管理 平台 ， 以 全 面 、 准 确 、 实 时 、 高 效 为 原则 ， 整 合 现 有 信息 系统 ， 对 数据 
资产 中 涉及 敏感 信息 的 经 营 管理 与 客户 数据 可 采用 清洗 、 脱 敏 、 建 模 等 技术 手段 ， 保 证 处 
理 后 的 数据 能 够 被 公司 大 多 数 部 门 与 单位 共享 ， 另 一 方面 ， 加 快 形成 数据 资产 创新 创业 机 
制 ， 鼓 励 各 单位 建立 以 产品 需求 、 应 用 需求 为 导向 的 数据 资产 开发 小 组 ， 提 高 数据 资产 的 
利用 效率 与 质量 。 

(1) 价值 发 现 一 直接 影响 。 国 家 电网 的 用 电信 息 采 和 集 系 统 采用 云 象 行业 大 数据 处 理 

台 ， 以 开源 Hadoop 为 基础 ， 支 持 复杂 计算 以 及 运 维 管理 。 该 系统 每 隔 15 分 钟 对 全 网 省 
电力 用 户 〈 规 模 超过 千 万 户 ) 的 用 电 数 据 进 行 采集 并 进行 统计 分 析 。 通 过 云 象 行业 大 数据 
处 理 平 台 的 试点 实施 并 和 传统 方案 进行 对 比 ， 用 电 数 据 可 实时 存储 到 平台 中 ， 同 时 日 电量 
计算 、 终 端 流量 统计 、 数 据 完整 率 分 析 等 业务 计算 的 效率 比 关 系 型 数据 库 的 解决 方案 提 
高 了 6 一 20 倍 ， 而 成 本 仅 为 传统 方案 的 115。 利 用 收集 、 处 理 的 用 电 数 据 还 可 深入 实现 客户 
用 电 行 为 分 析 、 用 电 负 荷 预测 、 营 销 数据 分 析 、 电 力 设备 状态 评估 等 功能 。 该 方案 面向 业 
务 人 员 提 供 了 统一 的 可 视 化 的 数据 分 析 结 果 展示 工具 ; 对 技术 人 员 提 供 PMML 语 言 支持 ， 
支持 包括 关系 型 数据 库 、 日 志文 件 在 内 的 多 种 数据 源 ， 实 时 计算 和 分 析 ， 具 有 基于 消息 队 
列 的 实时 数据 加 载 和 在 线 分 析 能 力 ， 提 供 10 种 分 类 算法 、12 种 聚 类 算法 、5 种 降 维 算法 、 
基因 优化 算法 、 线 性 回归 算法 ， 以 及 并 行 化 协同 过 滤 算 法 ， 快 速 建 模 与 验证 ， 基 于 并 行 化 
计算 框架 ， 计 算 性 能 线性 可 扩展 ; 支持 复杂 数据 分 析 任务 的 流 定 义 、 复 杂 数 据 分 析 任 务 的 
动态 配置 ， 基 于 普通 PC 服务 器 集群 搭建 ， 同 时 还 提供 增强 的 实时 状态 监控 和 告警 。 
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(2) 价值 发 现 一 间接 影响 。 国 家 电网 实行 “大 营销 ”体系 的 电力 营销 建设 ， 建 设 营 
销 稽查 监控 系统 、24 小 时 面向 客服 的 省 级 集中 的 95$98 客 服 系统 以 及 业务 属地 化 管理 的 营 
销 管 理 体系 。 公 司 以 分 析 性 数据 为 基础 ， 以 客户 和 市 场 为 导向 ， 构 建 营销 稽查 监控 的 分 析 
模型 ， 以 此 建立 专属 营销 的 系统 性 算法 模型 库 ， 从 而 发 现 数据 之 中 的 隐藏 关系 ， 提 供 直 
观 、 全 面 、 多 维 且 深入 的 电力 预测 数据 ， 提 高 企业 各 层 决 策 者 洞察 市 场 的 能 力 并 能 够 采取 
有 效 的 营销 策略 ， 优 化 企业 现 有 的 营销 组 织 体系 ， 提 高 服务 质量 和 营销 能 力 ， 从 而 起 到 改 
善 企业 整体 营销 能 力 的 作用 ， 确 保 企 业 、 用 户 、 社 会 经 济 三 者 利益 最 大 化 。 以 广西 省 电力 
有 限 公 司 为 例 ， 该 省 公司 对 95598 客 服 系统 、 电 力 营 销 MIS 系 统 、 计 量 自动 化 等 营销 系统 
的 业务 系统 数据 进行 整合 ， 提 取出 190 个 数据 指标 ， 设 立 示警 阀 值 实施 检查 ， 对 营销 环节 
进行 全 过 程 、 全 方位 、 全 维度 的 闭环 分 析 及 管理 ， 做 到 了 事前 示警 、 事 中 跟踪 和 事后 分 
析 ， 及 时 发 现 系统 相关 问题 并 进行 督察 办 理 。 

(3) 价值 创造 一 直接 影响 。 国 家 电网 使 用 大 数据 技术 协助 其 运营 监测 系统 的 有 效 运 
行 。 运 营 监测 系统 中 的 资金 收 支 管理 主要 针对 营销 的 售 电 数 据 、 财 务 的 资金 变动 、 银 行 账 
户 等 数据 进行 实时 监控 ， 主 要 包括 资金 流入 、 资 金 存量 、 资 金 流 出 以 及 应 收 票据 四 大 功能 
近 1000 个 指标 。 在 该 系统 中 通过 云豹 流 处 理 平台 的 实施 ， 实 现 了 每 分 钟 对 所 有 变动 数据 
的 指标 进行 计算 和 监控 预警 ， 峰 值 时 可 处 理 超过 2000 万 条 交易 数据 。 此 外 ， 国 家 电网 还 
将 大 数据 应 用 在 OA 办 公 系 统 中 ， 即 协同 办 公平 台 ， 用 云 计 算 模式 构建 虚拟 化 统一 管理 应 
用 ， 利 用 分 布 式 大 数据 存储 解决 存储 压力 。 

(4) 价值 创造 一 间接 影响 。 国 网 公司 构建 统一 的 资金 调度 与 监控 平台 来 满足 资金 集 
中 管理 及 风险 防 控 需 要 ， 并 在 2013 年 展开 全 面 推广 。 该 系统 涵盖 了 七 大 功能 ， 包 括 银 行 账 
户 和 票据 监控 、 融 资 和 对 账 监控 、 收 支 余 监 控 、 资 金 计 划 监 控 和 监控 分 析 。 省 公司 与 系统 
各 级 分 公司 的 业务 包括 领 用 、 结 存 、 贴 现 、 应 收 应 付 票 据 购 入 、 银 行 结算 票据 等 的 信息 管 
理 ， 实 现 了 一 体 化 上 线 ， 建 立 了 归 集 路 径 清晰 的 银行 账户 体系 ， 资 金 计 划 全 部 实现 了 在 线 
审批 和 全 程 监控 ， 包 括 纵向 申报 、 审 核 、 汇 总 和 下 达 ， 银 行 账户 的 开 立 、 变 更 和 撤销 等 。 

(5) 价值 实现 一 直接 影响 。 目 前 电力 行业 的 大 数据 还 处 于 逐渐 发 展 阶段 ， 在 直接 利 
用 大 数据 应 用 创新 新 产品 方面 还 有 所 欠缺 。 国 家 电网 提供 发 电 、 传 输 、 配 电 等 业务 ， 在 电 
动 汽车 领域 建设 运营 充 换 电 设 施 ， 在 城市 轨道 交通 领域 做 好 配套 供电 建设 ， 并 积极 开展 智 
能 电网 建设 。 随 着 大 数据 应 用 的 日 渐 深入 和 足够 成 熟 ， 国 家 电网 会 将 大 数据 应 用 直接 应 用 
到 新 型 产品 中 。 

(6) 价值 实现 一 间接 影响 。 国 家 电网 开展 智能 电网 建设 ， 为 居民 、 商 业 用 户 提供 智 
能 用 电 服务 。 智 能 电网 本 质 上 就 是 大 数据 在 电力 行业 中 的 应 用 ， 获 取 、 分 析 用 户 的 用 户 信 
息 以 此 来 优化 电力 生产 、 传 输 、 分 配 情况 。 同 时 智慧 电网 中 的 互联 设备 ， 也 需要 大 数据 技 
术 及 相关 应 用 来 确保 其 工作 的 有 效 性 。 

国家 电网 作为 电力 行业 的 领先 企业 ， 是 大 数据 在 国内 电力 行业 应 用 的 先行 者 ， 可 以 更 
大 程度 地 发 现 知识 、 信 息 ， 确 保良 好 的 数据 运 维 ， 并 具备 良好 的 条 件 和 基础 。 目 前 在 价值 
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发 现 和 价值 创造 两 阶段 已 有 了 较为 成 熟 和 领先 的 大 数据 应 用 案例 ， 但 是 在 最 为 深入 的 价值 
实现 阶段 ， 国 家 电网 的 大 数据 应 用 还 处 于 试点 应 用 阶段 。 随 着 时 间 的 推进 、 技 术 的 发 展 和 
大 数据 应 用 的 不 断 成 熟 ， 国 家 电网 完全 可 以 立足 于 数据 运 维 服务 ， 挖 气 并 创造 数据 业务 的 
增值 价值 ， 提 供 和 衍生 多 种 服务 。 如 果 能 够 合理 充分 地 利用 上 述 数 据 ， 对 基于 电网 实际 数 
据 的 深入 分 析 ， 国 家 电网 即 可 分 析 挖掘 出 大 量 高 附加 值 服务 ， 具 体 包 括 掌握 具体 的 客户 用 
电 行为 ， 对 用 户 进行 细 分 ， 开 展 更 准确 的 用 电量 预测 ， 进 行 大 灾难 预警 与 处 理 ， 支 持 供电 
与 电力 调度 决策 ， 有 利于 电网 的 安全 监控 ， 优 化 电网 的 运营 管理 过 程 等 ， 从 而 实现 更 科学 
的 需求 侧 管理 。 大 数据 的 成 功 运营 可 以 带 来 新 型 的 数据 运 维 方式 ， 形 成 一 种 新 的 交付 方式 
和 消费 形态 ， 给 用 户 带 来 全 新 的 使 用 感受 ， 并 进一步 推动 电网 生产 和 企业 管理 ， 打 破 传统 
电力 系统 业务 间 各 自 为 政 的 局 面 ， 从 数据 分 析 和 管理 的 角度 为 企业 生产 经 营 和 管理 以 及 坚 
强 智能 电网 的 建设 提供 更 有 力 、 长 远 、 深 入 的 支撑 。 

电网 企业 要 顺应 大 数据 发 展 趋势 ， 立 足 企业 ， 服 务 社会 ， 深 化 大 数据 商业 模式 创新 ， 
将 能 源 大 数据 作为 实现 企业 发 展 战略 的 催化 剂 ， 发 挥 对 “全 球 能 源 互联 网 ”建设 、“ 两 个 
替代 ”方面 的 助 推 作 用 ， 将 数据 资产 作为 推动 传统 产业 转型 升级 、 建 设 创 新 型 社会 的 驱动 
因素 ， 全 面 提升 服务 客户 、 服 务 社会 的 水 平 。 
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提 到 能 源 互 联网 ， 不 能 不 提 的 是 互联 网 的 核心 一 一 数据 资源 。 国 务 院 2016 年 2 月 底 印 
发 的 《关于 推进 “互联 网 +” 智 慧 能 源 〈 能 源 互联 网 ) 行动 的 指导 意见 》 中 明确 强调 : 积 
极 推动 拓展 能 源 大 数据 采集 范围 ， 促 进 能 源 领域 跨行 业 信息 共享 与 业务 交融 ， 打 通 政府 部 
门 、 企 事业 单位 之 间 的 数据 壁垒 。 这 表明 了 数据 资源 开放 和 共享 是 “互联 网 +” 智 慧 能 源 
发 展 的 必由之路 ， 凸 显 了 数据 资源 开放 和 共享 是 “互联 网 +” 智 慧 能 源 发 展 的 重要 地 位 。 

如 果 说 2016 年 是 中 国电 力 改革 市 场 化 改革 破题 之 年 ， 那 么 ，2017 年 将 成 为 电力 改革 
攻坚 之 年 。 根 据 “ 电 改 9 号 文 ” 和 陆续 出 台 的 “ 电 改 ” 配 套 文件 〈《 关 于 推进 输 配 电价 改 
革 的 实施 意见 》 《关于 推进 电力 市 场 建 设 的 实施 意见 》《 关 于 电力 交易 机 构 组 建 和 规范 运 
行 的 实施 意见 》 《关于 有 序 放 开 发 用 电 计划 的 实施 意见 》 《关于 推进 售 电 侧 改革 的 实施 意 
见 》 和 《关于 加 强 和 规范 燃 煤 自 备 电厂 监督 管理 的 指导 意见 》) ， 电 网 营销 部 门将 作为 主 
体 分 拆 出 来 成 立国 有 售 电 公司 与 新 成 立 的 其 他 售 电 公 司 参 与 竞争 性 售 电 。 这 意味 着 ， 电 网 
公司 售 电 的 营销 利润 来 源 渠道 将 逐步 收 窗 。 同 时 ， 在 电力 能 源 的 实践 大 军 里 ， 正 逐渐 涌现 
出 信息 与 通信 技术 企业 或 电子 企业 ， 如 电信 供应 商 、 家 庭 的 安全 供应 商 正在 利用 智能 家 居 
的 概念 涌 入 电力 能 源 领 域 。 这 些 企业 在 电力 领域 表现 得 非常 活跃 ， 在 不 断 地 挤 压 电 网 企业 
在 电力 领域 相关 产品 的 生长 空间 。 
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伴随 着 信息 技术 与 电网 公司 营销 业务 的 深度 交汇 融合 ， 引 发 的 营销 数据 规模 迅猛 增 
长 ， 正 日 益 对 电力 生产 、 传 输 、 分 配 、 消 费 活动 以 及 运行 机 制 产生 重要 影响 。 营 销 数据 资 
源 已 在 电力 需求 侧 管理 、 能 效 管理 以 及 优质 供电 服务 等 方面 提供 辅助 支撑 ， 已 成 为 电网 公 
司 基础 性 战略 资源 。 面 对 “ 电 改 ” 下 的 竞争 加 剧 形 势 ， 依 靠 多 年 累积 的 售 电 服务 优势 ， 如 
何 扩展 整合 更 多 的 天 气 、 交 通 等 外 部 数据 ， 将 营销 数据 资源 在 建立 健全 市 场 主 体 信 用 体 
系 、 提 供 优质 电能 服务 和 促进 能 效 管理 等 方面 的 价值 更 大 程度 地 发 挥 ， 对 整个 电网 公司 营 
销 部 都 是 一 项 挑战 。 

随 着 全 球 新 一 轮 科 技 革命 和 产业 变革 ， 先 进 信息 技术 与 政府 、 各 经 济 产业 加 速 融 
合 ， 底 层 正 是 信息 数据 的 交融 在 推动 各 个 产业 的 融合 。 政 府 机 构 和 一 些 企 业 单位 等 对 电 
网 营销 数据 的 开放 存在 迫切 需求 。 例 如 ， 政 府 层面 ， 克 强 指数 通过 全 社会 用 电量 作为 经 
济 形势 判断 的 一 个 依据 ;银行 层面 ， 通 过 电表 数据 作为 是 否 发 放贷 款 的 一 项 指标 ， 人 民 
银行 还 将 部 分 省 市 的 电费 缴纳 信息 纳入 征 信 系统 ， 能 源 投资 机 构 通过 用 电 数 据 来 判断 行 
业 前 景 和 投资 方向 。 种 种 营销 数据 的 共享 和 利用 需求 彰显 外 界 对 营销 数据 的 开放 存在 热 
切 的 期 盼 。 

综 上 所 述 ， 不 论 是 国家 宏观 政策 的 积极 引导 ， 还 是 电网 公司 营销 部 内 在 利益 的 驱动 ， 
或 是 外 界 对 电网 公司 营销 数据 开放 的 迫切 需求 ， 都 说 明了 电网 营销 数据 开放 和 共享 是 电网 
公司 营销 部 气 金 的 必 备 武器 。 因 此 ， 进 行 电网 营销 数据 市 场 化 的 研究 和 讨论 就 非常 必要 。 
本 节 虽 在 研究 在 开放 的 数据 交易 市 场 中 ， 以 电网 营销 数据 为 切入 点 ， 以 市 场 对 数据 需求 为 
导向 ， 从 国内 外 经 验 借鉴 、 框 架设 计 及 重点 方向 、 实 现 过 程 及 关键 点 等 方面 对 电网 营销 数 
据 运 营 市 场 化 进行 全 面 分 析 ， 研 究 如 何 搭建 营销 数据 运营 机 制 ， 实 现 营销 数据 资源 充分 合 
理 配制 ， 实 现 数据 资源 价值 和 运作 效率 最 大 化 的 目标 。 


5.6.1 国内 外 经 验 借鉴 


1. 电力 行业 内 : 法 国电 力 、Opower、Emprimo 


法 国电 力 公司 作为 全 球 能 源 基 础 服务 供应 商 ， 非 常 重视 数据 运营 在 企业 管理 中 的 作 
用 。 法 国电 力 利用 电表 数据 ， 结 合 气象 数据 、 用 电 合同 数 据 及 电网 数据 ， 从 而 预测 电力 
需求 变化 、 识 别 用 户 用 电 行 为 、 发 现 电力 消费 规律 ， 促 进 电 力 需 求 侧 的 管理 提升 。 通 过 
智能 手机 、 连 接 设备 以 及 传感器 来 实现 数据 整合 和 分 析 ， 精 确 地 找到 对 产品 感 兴趣 的 目 
标 客户 ， 进 行 产品 推广 ， 以 扩大 市 场 份额 ， 为 企业 战略 转型 与 服务 升级 提供 有 效 的 决策 
支撑 。 

美国 Opower 通 过 获取 公用 事业 公司 的 大 量 家 庭 能 耗 数据 ， 依 托 用 户 档案 信息 、 房 龄 
信息 、 周 边 天 气 等 ， 进 行家 庭 耗 能 分 析 并 给 出 节能 建议 。 最 令 用 户 满意 的 地 方 是 ， 用 户 
除了 可 以 看 到 自身 的 用 电 数 据 ， 还 可 以 看 到 临近 区 域内 最 节能 的 20% 的 用 户 的 耗 能 情况 。 
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Opower 公 司 为 客户 提供 的 这 些 服务 增强 了 客户 对 其 忠诚 度 ， 促 进 客户 继续 从 公司 购 电 。 

德国 的 Emprimo 公 司 利用 数据 运营 手段 ， 制 定 灵 活 的 分 时 电价 、 阶 梯 电 价 ， 为 客户 提 
供 节 能 环保 服务 以 及 制定 特色 化 的 售 电 套餐 。 如 针对 大 城市 经 常 出 差 、 生 活 时 间 不 规律 的 
商业 人 士 ， 该 公司 率先 推出 了 远 距 离 跨 区 的 售 电 套 餐 “ 都 市 合约 ”。 该 售 电 合约 的 月 固定 
费用 便宜 ， 但 是 单价 较 贵 。Emprimo 公 司 的 数据 运营 经 验 主要 集中 在 通过 调查 分 析 客户 的 
需求 特点 的 不 同 ， 针 对 这 些 特点 提供 个 性 化 和 差异 化 的 服务 ， 从 而 受到 客户 的 热烈 欢迎 。 

作为 全 球 领 先 的 电力 服务 提供 商 ， 法 国电 力 、Opower 公 司 以 及 Emprimo 公 司 以 业务 数 
据 需求 为 导向 ， 以 为 用 户 提供 最 优质 的 服务 为 遵 则 ， 以 数据 运营 价值 最 大 化 为 目标 ， 以 完 
善 整合 内 外 部 数据 为 基础 ， 以 增强 数据 分 析 能 力 为 手段 ， 不 断 发 掘 数据 运 营 的 资产 价值 ， 
对 我 国电 网 数据 市 场 化 具备 标杆 性 研究 价值 。 


2. 电力 行业 外 : 谷歌 、Recruit、 阿 里 巴巴 


谷歌 是 世界 上 最 擅长 收集 、 分 析 数 据 、 数 据 运营 并 从 中 获取 数据 资源 价值 的 公 
司 。 谷 歌 旗 下 拥有 众多 子 业务 ， 涵 盖 搜 索 、 广 告 、 地 图 、 电 子 邮 件 、 应 用 、YouTube、 
Android 以 及 相关 技术 基础 设施 ， 这 些 业务 形成 的 产品 都 是 用 来 收集 更 多 、 更 详细 用 户 
信息 的 工具 。 一 方面 ， 谷 歌 利 用 近乎 垄断 地 位 的 搜索 引擎 来 收集 台式 机 用 户 信 息 ; 另 一 
方面 ， 在 移动 端 谷歌 通过 免费 提供 安 卓 系统 及 其 预 装 的 应 用 程序 来 收集 智能 手机 用 户 的 
信息 。 利 用 这 些 网 络 数据 和 手机 端 数据 ， 谷 歌 从 中 分 析出 哪些 信息 比较 重要 ， 哪 些 信息 
与 谷歌 有 关 ， 最 著名 的 案例 就 是 将 关键 词 广告 和 内 容 广告 转化 成 营业 收入 ， 这 几乎 达到 
谷歌 总 收入 的 90% 。 

Recruit 目 前 是 日 本 国内 第 一 招聘 巨头 ， 主 要 为 求职 者 和 企业 提供 就 职 、 转 职 等 人 才 领 
域 的 信息 和 咨询 服务 。Recruit 平 台 上 累积 了 日 本 求职 者 从 毕业 开始 的 数据 ， 如 职位 投递 记 
录 ， 职 业 发 展 轨 迹 ， 在 线 教育 记录 等 。 以 招聘 核心 业务 和 数据 运营 为 轴 心 ，Recruit 逐 步 发 
展 与 结婚 、 买 房 、 转 职 等 人 生 大 事 ， 以 及 美食 、 旅 游 等 每 天 的 生活 方式 相关 的 业务 领域 并 
进行 相关 领域 数据 运营 。 在 这 些 将 企业 与 人 联系 在 一 起 的 各 类 扩展 领域 中 ，Recruit 实 现 了 
对 所 需 的 数据 进行 高 速 处 理 、 分 析 和 和 运营， 大 多 数 都 是 采用 Hadoop 及 相关 大 数据 生态 系 
统 来 实现 的 推荐 、 关 联 分 析 、 属 性 分 析 等 功能 ， 取 得 了 不 错 的 成 果 。 

阿里 巴巴 是 国内 首届 一 指 的 数据 运营 标杆 企业 ， 公 司 的 大 数据 平台 已 汇集 了 海量 用 户 
和 商家 ， 聚 集成 富有 张力 的 生态 系统 。 阿 里 巴巴 的 大 数据 运营 不 再 仅仅 局 限于 阿里 企业 本 
身 ， 且 正 逐 渐 演 变 成 为 整个 大 生态 系统 健康 运作 的 核心 主体 。 阿 里 巴巴 所 拥有 的 用 户 消费 
数据 ， 与 电网 营销 领域 的 用 户 用 电 数 据 同属 于 用 户 行为 数据 。 因 此 ， 阿 里 巴巴 对 用 户 购物 
消费 数据 运营 的 成 功 经 验 ， 可 以 为 电网 企业 营销 部 进行 用 户 用 电 数 据 运 营 和 市 场 化 提供 典 
型 的 范本 。 阿 里 巴巴 的 收购 逻辑 ， 就 是 以 获取 用 户 行为 数据 的 角度 去 业务 并 购 、 布 局 。 阿 
里 巴巴 通过 收购 和 投资 墨迹 天 气 、 友 盟 、 美 团 、 虾 米 、 快 的 、UC 浏 览 器 、 新 浪 微 博 、 高 
德 软 件 、 优 酷 士 豆 、 快 的 和 58 到 家 等 ， 获 得 了 用 户 的 娱乐 、 社 交 、 地 理 位 置 、 交 通 出 行 、 
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生活 服务 信息 ， 其 内 在 逻辑 招 招 都 不 离 数据 。 通 过 这 些 并 购 投资 ， 阿 里 巴巴 试图 拼 出 一 份 
襄 括 互联 网 与 移动 互联 网 ， 涵 盖 用 户 生活 方方面面 的 全 景 数据 图 。 之 后 利用 数据 运营 平 
台 ， 提 供 数据 服务 或 者 衍生 新 的 业务 。 阿 里 巴巴 数据 运营 最 典型 的 例子 就 是 阿里 金融 。 阿 
里 巴巴 通过 对 电子 商务 平台 上 的 客户 行为 进行 分 析 ， 诞 生 了 蚂蚁 小 贷 、 花 曙 、 借 鹃 ， 形 成 
了 数据 产品 的 标杆 阿里 金融 。 其 海量 的 数据 交易 记录 是 阿里 金融 的 基础 ， 通 过 调 取 卖家 与 
网 购 有 关 的 日 志 、 聊 天 记录 、 信 用 评价 、 退 换 货 记 录 等 各 种 结构 化 和 非 结构 化 的 数据 ， 加 
上 外 部 采集 的 用 电量 、 银 行 信 贷 等 数据 分 析 ， 把 碎片 化 的 信息 还 原 成 对 个 人 和 企业 的 信用 
积累 和 认识 ， 阿 里 金融 可 以 精准 决策 是 否 放贷 和 放贷 额度 。 

综 上 所 述 ， 不 论 是 电力 领域 内 公司 利用 数据 运营 实现 企业 内 部 的 管理 效益 提升 ， 还 是 
电力 领域 外 公司 等 通过 数据 运营 增加 企业 收入 和 扩张 业务 版 图 ， 都 离 不 开 理 念 上 对 数据 资 
源 的 重视 、 实 际 行动 上 对 数据 资源 的 整合 利用 。 由 此 ， 一 个 成 功 、 有 效 的 数据 运营 框架 设 
计 ， 一 方面 需要 考虑 为 企业 进行 已 有 业务 的 管理 提升 和 优化 ， 另 一 方面 需要 考虑 为 公司 发 
现 新 领域 和 衍生 新 业务 提供 支撑 。 


5.6.2 ”框架 设计 及 重点 方向 


电网 营销 现 有 业务 和 数据 现状 ， 是 以 提供 优质 供电 服务 和 相关 支撑 数据 为 中 心 的 ， 具 
体 包括 : 计量 体系 管理 数据 、 计 量 点 管理 数据 、 抄 表 管理 数据 、 核 算 管理 数据 、 资 产 管理 
数据 、 客 户 关 系 管理 数据 、 客 户 档案 数据 、 供 电 合同 管理 数据 、 有 序 用 电 数 据 、 稽 查 及 工 
作 质 量 数据 、 市 场 管理 数据 、 线 损 管理 数据 、 能 效 管理 数据 、 新 增 扩容 变更 数据 、 电 费 收 
缴 及 营销 账 务 管理 、 分 布 式 电源 并 网 数据 等 。 

这 些 业务 背后 涵盖 的 主体 数据 就 是 用 户 用 电 数 据 ， 其 本 质 体现 的 是 用 户 的 行为 数据 。 
这 些 数 据 具 备 以 下 特点 。 

(1) 电网 供电 具备 公共 事业 属性 ， 覆 盖 区 域 广 ， 客 户 群 规模 大 、 用 户 黏 性 高 。 按 照 
流量 为 王 的 互联 网 逻辑 ， 电 网 营销 占领 了 独一无二 的 先天 优势 。 

(2) 具备 金融 属性 。 和 售 电 作为 电力 生产 的 出 口 和 用 户 服务 的 入 口 ， 可 以 衍生 、 嫁 接 
众多 金融 服务 。 

(3) 用 电 相 关 数 据 质量 较 高 ， 实 时 性 强 。 围 绕 用 电 和 电动 汽车 、 充 电 桩 、 新 能 源 
等 ， 可 以 不 断 地 发 据 和 创建 新 的 增值 服务 。 

如 果 将 电网 营销 数据 市 场 化 分 为 3 个 境界 的 话 ， 可 以 概括 如 下 。 

(1) 发 展 比较 成 熟 的 营销 数据 1.0 时 代 : 是 自身 营销 业务 产生 什么 数据 ， 就 用 这 些 数 
据 做 分 析 优 化 。 

(2) 目前 正在 进行 的 营销 数据 2.0 时 代 : 是 将 现 有 数据 与 大 营销 的 历史 或 上 下 游 数据 
交叉 ， 由 此 优化 数据 。 

(3) 即将 到 来 的 营销 数据 3.0 时 代 : 通过 购买 外 部 数据 或 者 将 营销 数据 分 享 出 去 ， 在 
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数据 的 互 融 共通 中 ， 挖 掘 出 尚未 被 认可 的 价值 洼地 ， 或 是 重新 解构 出 价值 高 地 。 

基于 此 ， 本 文 设 想 了 营销 数据 3.0 时 代 的 框架 ， 涵 盖 从 数据 源 到 数据 最 终 的 价值 变 
现 ， 实 现 将 数据 形成 有 价值 资产 到 数据 资产 价值 反馈 业务 优化 的 闭环 。 

如 图 5.7 所 示 ， 最 底层 支撑 的 数据 源 的 采集 和 整合 主要 包括 : 
源 大 数据 采集 范围 ， 


逐步 履 盖 气 经济、 交通 和 节令， 


thy 


合 系统 。 能 源 资源 、 新 能 源 、 电 动 储 
能 电站 、 输 变 电 、 配 用 电 、 终 端 用 能 大 数据 的 集成 融合 。 


数据 交易 所 ”政府 用 电 采 集 服务 能 源 交 易 APP 小 额 信 用 贷款 
书记 。。 报税 | | 关 异 化 供电 服务 | | 节能 分 析 APP 。 国 网 南城 和 条 
站 | | mn | 电网 宝 
设备 制造 证 =| | ~ 众 筹 
数据 增值 加 
数 普 惠 金 融 服务 | | 据 
加 数据 交易 数据 服务 创业 邬 化。 〈 征 信 为 基础 次 
成 E 从 
有 能 源 大 数据 分 析 全 
价 (数据 挖掘、 可 视 化 等 ) 入 
值 业 
外 部 数据 采集 能 源 供应 链 聚 合 人 
区 二 所 一 [一 一 电 同 丙 部 天 间 硝 要 所 一 一 一 一 一 
经 济 ”|| 分 布 式 电源 用 电 及 缴费 。 95598 电 呼 和 
”数据 ”数据 | 人 区 | 


图 5.7 ”电网 营销 数据 市 场 化 的 框架 设计 

基于 底层 数据 支撑 ， 进 一 步 提出 了 电网 营销 数据 运营 的 4 大 方向 ， 具 体内 容 如 下 ; 

1) 方向 1: 加 强 建设 电网 营销 数据 的 应 用 服务 

数据 服务 一 一 能 源 大 数据 分 析 系 统 。 基 于 各 类 数据 资源 整合 ， 开 展 用 电 采 集 服务 、 
差异 化 供电 服务 、 精 准 广告 服务 ， 提 升 基于 能 源 统计 、 分 析 、 预 测 等 业务 的 时 效 性 和 准 
确 度 。 

根据 电网 营销 相关 数据 ， 开 展 数据 分 析 服务 ， 选 取 如 用 户 画 像 、 用 电信 息 采 集 等 典型 
业务 场景 ， 为 客户 提供 更 灵活 、 专 业 化 的 服务 。 

用 户 画 像 。 结 合 客户 用 电 行 为 数据 、 客 户 信用 风险 数据 ， 形 成 客户 消费 的 偏好 画像 ， 
利用 画像 为 用 电 客户 提供 差异 化 服务 ， 能 够 提升 公司 美誉 度 ， 增 加 客户 符 性 。 比 如 ， 可 以 
通过 用 电 曲 线 ， 识 别 出 用 户 哪 些 是 空 梨 家 庭 、 哪 些 是 老人 家 庭 ， 哪 些 是 上 班 族 家 庭 ， 识 别 
出 哪些 是 单身 贵族 用 户 ， 哪 些 是 三 口 之 家 ， 哪 些 是 商业 综合 体 用 户 ; 识别 出 哪些 用 户 用 电 
是 夜间 高 峰 ， 哪 些 用 户 用 电 是 节假日 高 峰 。 这 些 特征 的 识别 ， 有 助 于 营销 部 根据 不 同人 群 
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制定 灵活 的 售 电 套 餐 ， 也 有 助 于 电力 公司 对 用 户 进行 用 电 建 议和 指导 。 

用 电信 息 采集 。 结 合 客户 档案 数据 、 智 能 家 居 数 据 、 电 动车 数据 、 充 电 桩 数据 ， 形 成 
客户 关于 用 电 更 灵活 的 选择 和 交易 方式 。 如 客户 通过 遥控 手机 APP 设 置 家 里 屋顶 光伏 面板 
的 角度 和 开关 ， 在 手机 APP 上 把 自家 屋顶 多 余 的 光伏 发 电 卖 给 附近 充电 桩 。 等 到 自己 的 电 
动 汽车 剩余 电量 不 足 时 ， 该 客户 可 以 自主 选择 供电 单位 是 在 自己 家 完成 充电 还 是 在 电网 公 
司 充电 桩 进行 充电 ， 且 在 有 合作 电力 交易 的 充电 桩 进行 充电 时 享有 优惠 折扣 。 

通过 典型 的 数据 分 析 应 用 服务 ， 电 网 营销 部 可 以 给 电力 客户 提供 更 多 差异 化 的 能 源 商 


品 和 服务 方案 。 

2) 方向 2; 推动 电网 营销 的 创业 孵化 建设 

数据 增值 之 创业 孵化 一 一 能 源 数据 增值 系统 。 对 于 创业 孵化 ， 允 许 第 三 方 开发 商 在 此 
之 上 开发 相关 的 增值 应 用 。 

硬件 智能 化 、 软 件 管理 平台 和 增值 服务 ， 是 为 电网 公司 营销 部 现 阶段 设想 的 深度 垂直 
服务 体系 。 


围绕 电力 营销 服务 ， 人 允许 第 三 方 开发 商 在 此 之 上 开发 出 增值 应 用 ， 与 电网 公司 共同 
为 客户 提供 服务 。 第 三 方 可 以 在 线 使 用 电网 营销 数据 并 连接 到 第 三 方 的 应 用 和 服务 中 。 比 
如 ， 一 款 手 机 APP， 可 以 成 为 电力 用 户 的 能 源 管家 ， 用 户 可 以 通过 此 APP 实 现 一 站 式 的 电 
力 消费 相关 的 服务 体验 ， 如 电子 账单 获取 、 智 能 家 居 及 电动 汽车 的 智能 温 控 、 节 电 设备 的 
在 线 检修 等 ， 如 图 5.8 所 示 。 


能 源 管家 能 源 利用 控制 流程 图 
。 电子 账单 ， 实 时 了 解 、 掌 握 到 自己 和 邻居 ”rw 大王 a 
的 电量 使 用 情况 消费 者 手机 APP 宇 调 智能 芯片 
* 智能 温 控 ; 对 着 手机 说 出 指令 ， 空 调 就 可 。 于 二 开关 机 、 
以 自动 开机 预 热 ， 为 不 同时 段 设置 不 同 的 。 六 温 湿度 、 
在 线 机 唤 在 线 客服 ， 监 测 故障 ;或 > 
* 在 线 检修 : 呼唤 在 线 客服 ， 监 涡 ;于 ie i 
者 预约 检修 师傅 上 门 智能 控制 中 心 光纤 、WiFi 网 络 


图 5.8 ”能 源 管 家 APP 及 能 源 利用 控制 

电子 账单 :， 实 时 了 解 、 掌 握 到 自己 和 邻居 的 电量 使 用 情况 ， 了 解 最 近 的 电力 价格 和 相 
关 缴 费 等 信息 。 

智能 温 控 : 对 着 手机 说 出 指令 ， 空 调 就 可 以 自动 开机 制 热 ， 为 不 同时 段 设置 不 同 的 舒 
适 温度 。 

在 线 检修 : 呼唤 在 线 客服 ， 检 测 故 障 ， 或 者 预约 检修 师傅 上 门 。 

以 上 做 法 可 以 实现 双赢 ， 营 造 良好 的 合作 氛围 ， 有 助 于 电网 自身 的 客户 良好 体验 。 同 
时 ， 第 三 方 公司 可 以 依赖 电网 的 庞大 用 户 群 轻松 获取 流量 ， 形 成 厚实 的 业务 拓展 基础 。 

3) 方向 3: 促进 电网 营销 与 普 惠 金融 的 深度 融合 

数据 增值 之 普 惠 金融 一 能 源 数据 增值 系统 。 以 电网 营销 数据 运营 为 核心 ， 以 个 人 和 
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企业 征 信 为 基础 ， 培 育 能 源 金融 新 商业 模式 。 

针对 广大 电力 个 人 客户 /企业 的 缴费 记录 、 商 城 消费 记录 数据 进行 深度 挖掘 ， 建 立 
信用 评级 指标 体系 ， 完 成 对 电力 个 人 客户 /企业 客户 的 信用 评估 ， 为 拓展 金融 服务 黄 定 基 
础 。 普 囊 金 融 具体 涵盖 以 下 4 种 主要 形式 : 

(1) 发 展 电网 宝 模式 

将 资产 端 和 资金 端 进行 结合 ， 发 展 电网 宝 等 浮动 收益 类 、 保 底 类 理财 产品 。 比 如 以 
电网 公司 已 建成 的 充电 桩 等 为 基础 资产 ， 当 投资 者 购买 该 理财 产品 时 ， 实 际 上 购买 的 是 
每 份 产品 对 应 的 充电 桩 的 利润 ， 到 期 返还 本 金 和 收益 。 推 广 类 似 理财 产品 ， 随 着 充电 桩 
运营 效率 的 提升 ， 投 资 人 的 收益 也 会 提升 。 电 动 汽车 的 普及 和 市 场 占 有 率 发 展 是 影响 充 
电 桩 收益 的 主要 因素 ， 为 了 减少 不 利 因素 对 投资 人 的 影响 ， 产 品 可 尝试 提供 收益 保底 保 
障 。 电 网 营销 部 可 将 充电 桩 的 当日 售 电量 、 累 计 售 电量 、 当 日 收益 、 累 计 收 益 等 数据 进 
行 实 时 更 新 ， 通 过 充电 桩 的 运 维 监控 系统 ， 透 明 的 呈现 在 相应 的 金融 APP 或 APP 的 用 户 
个 人 账户 里 。 

(2) 发 展 电网 商城 白条 模式 

通过 搭建 电网 商城 ， 针 对 商城 网 购 的 消费 分 期 信贷 服务 ， 尝 试探 索 类 似 一 种 “用 于 网 
购 的 虚拟 信用 卡 ”， 发 展 电 网 商城 白条 模式 ， 只 服务 于 商城 平台 上 的 消费 金融 产品 。 根 据 
用 户 的 用 电 记录 、 缴 电费 记录 、 商 城 购物 记录 、 个 人 信息 、 注 册 行 为 以 及 外 部 搜集 的 其 他 
征 信 数据 来 确定 授信 给 用 户 的 额度 ， 用 户 可 以 自由 分 期 、 灵 活 还 款 。 成 熟 市 场 的 消费 信贷 
提供 者 呈现 多 元 化 状态 ， 中 国 的 万 亿 级 市 场 仅 靠 商业 银行 及 少量 消费 金融 公司 是 远 远 不 够 
的 。 电 网 公司 的 电网 商城 白条 这 种 模式 通过 挖掘 出 用 户 关于 智能 用 电 及 相关 领域 的 购物 需 
求 ， 并 能 够 很 好 地 服务 于 他 们 ， 让 更 多 的 用 户 能 享受 到 普 惠 金融 。 

(3) 发 展 电网 小 贷 模 式 

依托 互联 网 、 大 数据 和 云 计算 平台 ， 结 合 对 小 微 、 微 金融 的 理解 ， 做 好 反 欺诈 、 征 信 
和 资金 风险 运营 3 个 方面 的 工作 ， 电 网 公司 可 以 发 展 小 贷 模式 。 对 于 电力 上 下 游 的 核心 企 
业 ， 电 网 公司 除了 可 以 提供 贷款 ,促进 电力 能 源 产业 链 上 下 游 的 小 企业 找到 资金 ， 在 企业 
获取 客户 方面 也 会 提供 导 流 ， 将 客流 推介 给 小 微 企业 。 

(4) 发 展 众 筹 模式 

电网 企业 作为 公共 事业 属性 的 单位 ， 组 建 一 个 围绕 电力 能 源 服务 相关 的 公益 性 的 非 故 
利平 台 作 为 众 筹 工具 ， 在 此 平台 上 来 帮助 个 人 /企业 募集 更 多 的 资金 。 假 如 某 个 人 或 企业 
在 此 众 筹 平台 上 发 起 电力 服务 相关 的 众 筹 ， 告 诉 其 他 用 户 他 们 需要 多 少 资金 ， 该 用 户 就 能 
随时 查看 参与 众 筹 人 数 。 该 用 户 通 过 点 击 就 能 链接 到 各 种 支付 方式 完成 众 筹 。 

方向 4: 营造 电网 营销 数据 交换 和 共享 氛围 

数据 交换 和 变现 一 一 数据 资产 交易 系统 。 通 过 与 数据 交易 所 、 电 商 、 设 备 制造 厂 以 及 
政府 企业 等 单位 的 数据 资产 的 在 线 交 换 和 交易 ， 增 强 数据 的 流动 性 ， 发 挥 电网 营销 数据 价 
值 的 变现 能 力 和 提升 数据 对 业务 优化 支撑 的 广度 和 深度 。 
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电网 营销 数据 交换 和 共享 包含 数据 流入 和 数据 流出 两 部 分 。 

从 数据 流入 来 看 ， 即 电网 营销 作为 需求 端 来 说 :需要 从 国家 气象 局 获取 天 气 数据 ， 
更 好 地 为 电力 客户 提供 优质 服务 ;需要 从 交通 部 门 获取 交通 数据 ， 比 如 拥堵 指数 ， 更 好 地 
为 充电 桩 布局 以 及 供电 响应 及 时 性 上 提供 服务 ， 需 要 从 国土 资源 部 门 获取 建设 用 地 供应 情 
况 ， 更 好 地 提前 安排 业 扩 报 装 服务 ， 需 要 从 人 民 银 行 和 税务 局 获取 用 户 的 信用 数据 ， 更 好 
地 进行 电费 预存 和 缴费 智能 授信 额度 等 服务 ， 需 要 从 公安 局 获取 用 户 户籍 和 家 庭 关 系 链 数 
据 ， 更 好 地 进行 客户 关系 维系 和 关联 。 

从 数据 流出 来 看 ， 即 电网 营销 作为 提供 方 来 说 : 可 以 将 客服 中 心 的 客户 的 语音 普通 话 / 方 
言 数据 提供 给 语音 识别 的 公司 研究 使 用 ， 可 以 将 分 布 式 电源 的 分 布 信息 数据 提供 给 新 能 源 
设备 提供 商 布局 市 场 ， 可 以 将 充电 桩 位 置 数据 提供 给 电动 车 运营 单位 ， 可 以 将 电费 缴纳 数 
据 提供 给 人 民 银 行 作为 征 信 使 用 ， 可 以 将 用 户 用 电 数 据 提供 给 银行 做 贷款 风险 评估 ， 可 以 
将 营销 领域 知识 提供 给 科研 和 培训 机 构 使 用 。 

总 之 ， 通 过 数据 的 流入 流出 ， 实 现 营 销 数据 的 流动 ， 增 加 了 数据 价值 变现 的 能 力 和 
水 平 < 


5.6.3 ”实现 过 程 及 关键 点 


电网 营销 数据 市 场 化 也 将 从 数据 化 运营 向 数据 运营 转变 。 在 营销 数据 化 运营 阶段 时 ， 
营销 数据 就 产生 价值 ， 电 网 企业 只 是 有 意识 地 使 用 它 ， 却 没有 过 多 地 关注 它 。 而 当 营 销 数 
据 已 经 和 电网 企业 营销 部 战略 融合 后 ， 就 要 有 意识 地 收集 数据 ， 管 理 数据 。 

营销 数据 市 场 化 的 步骤 遵循 “规划 梳理 一 逐步 推广 一 完善 提升 ”策略 原则 ， 统 筹 协调 
解决 重大 问题 ， 及 时 总 结 推广 成 功 经 验 和 有 效 做 法 ， 切 实 推动 行动 的 贯彻 落实 。 现 阶段 需 
要 找 准 切入 点 ， 具 体 如 下 : 

(1) 数据 服务 实施 方面 : 按照 营销 业务 的 核心 度 ， 首 先 从 优质 供电 、 优 质 服务 等 角 
度 切 入 ， 进 行营 销 业 务 优化 和 运营 管理 水 平 提升 。 随 后 再 逐步 推广 至 其 余 领 域 。 

(2) 数据 增值 之 创业 孵化 实施 方面 : 按照 与 营销 数据 结合 价值 的 发 挥 度 ， 创 业 孵 化 
首先 从 微 信 APP 创 新 等 方面 切入 。 

(3) 数据 增值 之 金融 服务 实施 方面 : 以 征 信 为 起 始点 ， 基 于 此 开展 普 惠 金融 服务 模 
式 演进 。 

(4) 数据 交换 和 交易 实施 方面 。 按 照 与 营销 数据 结合 的 优先 度 ， 内 部 首先 从 电网 商 
城 共享 数据 ， 外 部 数据 从 天 气 、 经 济 以 及 交通 等 领域 进行 数据 交换 。 

同时 ， 鉴 于 市 场 成 熟 度 和 技术 支撑 度 ， 相 关 的 系统 建设 先后 顺序 为 : 外 部 采集 系 
统 、 能 源 供应 链 聚 合 系统 、 能 源 大 数据 分 析 系 统 、 能 源 数 据 增值 系统 和 数据 资产 交易 
沸 合 3 

关于 电网 营销 数据 市 场 化 的 过 程 关键 点 ， 主 要 集中 在 以 下 4 个 关键 点 〈 参 见 图 5.9) 。 
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“数据 在 哪 ? 
9 数据 价 值 


图 5.9 电网 营销 数据 市 场 化 过 程 的 关键 点 


1. 数据 重要 性 识别 


数据 市 场 化 的 第 一 步 就 是 对 数据 的 重要 性 进行 识别 。 想 制定 更 合适 的 交换 策略 和 交 
易 价 格 ， 关 键 是 完全 明白 现在 可 供 公司 使 用 的 数据 。 即 需要 和 弄 清楚 电网 营销 的 数据 分 布 在 
哪 ? 数据 价值 大 小 ? 数据 准 不 准 、 全 不 全 以 及 及 时 性 怎么 样 ? 

具体 实现 上 需要 把 握 以 下 策略 : 

(1) 列 出 数据 清单 ， 盘 点 数据 分 布 ， 明 确 数据 的 质量 情况 ， 对 数据 可 能 的 需求 方 进 
行 梳理 。 

(2) 对 数据 进行 分 类 。 数 据 可 以 按照 用 途 为 纯 商 业 类 数据 、 与 国家 安全 相关 的 保密 
数据 、 公 益 性 质数 据 等 ， 也 可 以 按照 数据 本 身 性 质 分 为 图 像 类 、 文 本 类 、 语 音 类 、 结 构 化 
数据 等 ， 按 照 数据 是 否 原生 态 可 分 为 原始 数据 、 经 过 加 工 的 数据 。 

(3) 针对 不 同 数据 需求 商 ， 建 立 一 整套 的 价值 交换 模型 和 方法 论 。 对 数据 进行 更 深 
入 的 标准 化 和 产品 化 处 理 ， 筹 备 建立 数据 交易 系统 ， 根 据 公司 掌握 的 数据 体 量 、 数 据 质 
量 ， 结 合 数据 使 用 者 的 需求 ， 实 现价 值 的 变现 或 者 交换 。 

(4) 通过 数据 交易 系统 ， 完 成 营销 自 营 数据 产品 和 平台 数据 产品 的 线 上 交易 ， 确 保 
数据 的 真实 性 和 有 效 性 。 进 行 数据 交易 效果 盘点 ， 用 户 增长 情况 、 销 售 业 绩 数 据 管 理 、 用 
户 关系 管理 。 同 时 ， 做 好 数据 交易 售后 服务 支持 。 

这 4 个 环节 循环 执行 ， 目 的 就 是 为 了 使 得 营销 及 相关 数据 更 好 用 、 价 值 能 更 有 效 地 发 挥 。 


2. 数据 市 场 化 人 才 
营销 数据 市 场 化 ， 离 不 开 相 关 领 域 的 人 才 。 电 网 营销 数据 来 自 各 个 系统 ， 加 上 与 外 
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部 数据 的 交换 融合 ， 无 论 是 数据 材料 的 质量 、 精 细 化 的 保证 ， 还 是 数据 安全 ， 都 需要 全 
局 性 地 安排 ， 这 人 迫切 需要 一 个 独立 的 团队 。 电 网 企业 营销 部 领导 需要 知道 在 整个 过 程 
中 需要 哪些 人 参与 ， 由 谁 负责 ， 各 小 组 职责 分 工 是 什么 样 的 ， 以 及 需要 什么 样 的 能 力 
培训 。 

为 此 ， 需 设立 营销 数据 市 场 化 团队 领导 小 组 ， 建 立 内 部 和 外 部 业务 组 、 技 术 组 和 审计 
组 ， 任 命 一 个 数据 科学 家 作为 团队 负责 人 来 指导 各 小 组 ， 形 成 合力 ， 同 时 设置 各 小 组 负责 
人 ， 其 中 : 

@ 审计 组 一 数据 审计 负责 人 : 主要 对 数据 的 质量 进行 评估 ， 同 时 判断 数据 的 公 

开 与 否 ， 把 握 “ 谁 应 该 看 什么 ， 谁 不 应 该 看 什么 ， 谁 看 什么 的 时 候 只 能 看 什 
么 。” 从 国家 安全 、 系 统 安 全 和 用 户 信 息 安全 需求 出 发 ， 按 照 电 力 营销 信息 
的 分 级 分 类 ， 进 行 电力 营销 及 相关 数据 采集 、 传 输 、 存 储 、 处 理 和 共享 全 过 程 
的 安全 监管 。 

@ 技术 组 一 技术 负责 人 : 主要 对 过 程 中 的 关键 技术 进行 把 握 ， 解 决 技术 难题 ， 为 团 
队 提 供 技术 支撑 。 在 技术 创新 等 方面 深入 探索 ， 先 行 先 试 ， 总 结 积累 可 推广 的 成 
功 技术 经 验 。 

@ 业务 组 一 内 部 /外 部 业务 负责 人 : 以 电网 营销 和 外 部 不 同 领域 相关 业务 需求 为 驱 
动 ， 建 立 主要 数据 之 间 的 整合 和 关联 ， 关 注 数 据 如 何 对 现 有 业务 进行 优化 以 及 拓 
展 新 业务 。 

这 样 ， 营 销 数据 市 场 化 组 织 一 方面 可 以 整合 内 部 系统 各 个 源头 的 数据 质量 ， 另 一 方面 
需要 和 外 界 进行 数据 资源 交换 协调 ， 最 终 将 这 些 数据 资源 应 用 在 指导 企业 管理 和 业务 扩展 
等 方面 。 

随 着 数据 运营 的 深化 ， 可 以 持续 完善 营销 大 数据 运营 人 才 培 养 机 制 ， 加 快 新 技术 吸收 
和 应 用 能 力 ， 进 一 步 完善 新 技术 、 新 知识 培训 和 认证 体系 ， 构 建 多 类 别 、 多 层次 、 立 体 化 
的 专业 技术 人 才 队 伍 。 


3. 技术 支撑 


营销 数据 市 场 化 的 关键 之 一 是 对 技术 的 掌握 程度 。 营 销 数据 市 场 化 过 程 中 需要 明确 在 
数据 市 场 化 过 程 中 核心 技术 是 什么 ? 电网 公司 技术 的 薄弱 点 和 瓶颈 是 什么 ? 除 自主 研发 ， 
哪些 技术 需要 第 三 方 来 合作 ? 

根据 电网 公司 已 有 技术 基础 和 发 展 需求 ， 结 合 大 数据 4V 的 特性 ， 此 处 提出 从 数据 存 
储 计算 、 数 据 整合 、 外 部 数据 采集 、 数 据 分 析 与 挖 据 、 数 据 交易 与 服务 以 及 数据 应 用 和 展 
示 6 个 方面 开展 大 数据 核心 关键 技术 研究 ， 从 数据 定价 和 交易 、 高 性 能 存储 与 计算 、 数 据 
挖掘 及 分 析 处 理 和 数据 安全 四 个 方向 形成 自主 知识 产权 的 大 数据 产品 体系 ， 满 足 “ 电 改 ” 
后 大 数据 运营 处 理 需求 ， 如 图 5.10 所 示 。 
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图 5.10 ”电网 营销 数据 市 场 化 的 关键 技术 

数据 分 析 与 挖掘 是 利用 传统 的 数据 分 析 手 段 和 数据 挖掘 算法 来 呈现 业务 背后 和 底层 的 
逻辑 规律 及 发 展 趋势 ， 以 指导 未 来 的 实际 工作 。 

数据 的 应 用 和 展示 主要 是 基于 一 些 电 力 营销 相关 的 业务 场景 ， 利 用 图 表 等 方式 ， 为 领 
导 层 直观 了 解数 据 之 间 的 联动 和 关系 提供 支撑 。 

第 三 方 服务 接口 是 提供 给 第 三 方 开发 产品 的 孵化 平台 ， 通 过 对 这 些 产品 的 监控 和 调 
度 ， 建 立 起 围绕 某 个 能 源 产品 或 者 服务 的 一 个 接口 ， 利 用 电网 营销 现 有 数据 ， 寻 找 、 挖 掘 
和 培育 新 的 利润 增值 点 。 

数据 整合 是 先进 行 数 据 质 检 ， 再 进行 “ 坏 数 据 ” 清 洗 ， 最 后 使 准确 度 比较 高 的 数据 之 
间 产 生 关联 。 

数据 存储 计算 是 实现 营销 数据 运营 梦想 所 需 的 处 理 大 规模 、 高 并 发 、 高 关联 性 甚至 是 
低 价值 密度 数据 的 存储 运算 。 

数据 安全 是 数据 运营 的 生命 线 ， 只 有 保障 数据 存储 和 运营 的 技术 流程 规范 、 安 全 ， 维 
护 系统 稳定 ， 降 低 系统 BUG 造成 的 数据 泄露 等 ， 才 能 支撑 起 整个 数据 的 市 场 化 运作 。 

数据 交易 包括 数据 买 入 和 数据 卖 出 。 数 据 定价 是 数据 交易 的 前 提 。 在 宏观 政策 监管 
下 ， 利 用 制度 和 技术 推动 数据 市 场 化 发 展 ， 促 进 数 据 交 易 活跃 度 提升 ， 实 现 电网 营销 数据 
的 交换 、 共 享 和 交易 。 


4. 政策 法 规 


电网 营销 等 带 有 政治 因素 的 企业 在 进行 数据 开放 和 共享 时 ， 考 虑 更 多 的 是 这 种 做 法 是 
不 是 符合 法 律 法 规 ， 市 场 化 与 隐私 安全 规定 是 否 冲 突 ， 以 及 过 程 中 会 不 会 造成 数据 泄露 引 
发 不 良 后 果 。 


阔 渤 导 王 


冷 财 北 泛 弛 了 车 弄 尝 注 涉 导 灯光 未 渍 送 贿 将 
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数据 开放 在 一 些 国家 逐渐 成 为 国家 战略 ， 这 有 效 推动 了 公共 数据 的 开放 应 用 。 电 网 营 
销 数据 市 场 化 的 核心 问题 是 数据 安全 ， 保 障 数据 安全 最 科学 的 手段 是 对 数据 进行 标准 化 、 
打包 、 安 全 审核 和 处 理 。 即 基于 原始 数据 进行 数据 加 工 ， 或 者 基于 数据 形成 服务 或 产品 ， 
以 服务 /产品 的 形式 进行 公开 和 分 享 。 若 必须 开放 原始 数据 ， 需 通过 一 些 技术 手段 ， 例 如 
数据 脱 敏 脱 去 数据 的 “敏感 部 分 ”， 同 时 辅助 以 法 律 法 规 从 组 织 、 制 度 、 流 程 等 方面 进行 
数据 安全 管理 ， 保 证 数据 的 开放 和 共享 安全 。 

通过 覆盖 用 户 群 范围 广 、 数 据 相对 准确 、 数 据 增值 想象 力 空间 大 的 电网 营销 数据 ， 作 
为 样本 和 突破 口 进行 电网 数据 市 场 化 探索 分 析 ， 为 电网 企业 实现 从 以 供给 为 导向 、 具 有 较 
强 公 共事 业 属 性 的 、 自 上 而 下 的 旧 有 模式 ， 逐 渐 转 变 为 自 下 而 上 的 、 以 消费 为 导向 、 提 供 
服务 和 应 用 的 新 模式 提供 辅助 支撑 。 

通过 对 国家 数据 开放 和 共享 的 宏观 政策 的 解读 和 剖析 ， 考 虑 到 电网 自身 的 长 足 发 展 ， 
进行 电网 营销 数据 市 场 化 是 势 在 必 行 的 ， 需 要 电网 公司 提前 谋划 和 统一 布局 。 

从 法 国电 力 到 中 国 的 阿里 巴巴 都 在 从 自身 优势 资源 出 发 ， 得 到 有 效 的 数据 运营 是 以 坚固 
的 数据 运营 系统 支撑 为 基础 ， 通 过 庞大 的 客户 群 管理 黄 定 牢固 优势 ， 以 金融 服务 的 产业 布局 
为 未 来 引领 方向 ， 积 极 通 过 数据 的 开放 共享 释放 数据 价值 ， 托 举 整个 电网 数据 市 场 化 加 速 运 
转 ， 推 动 电网 从 电力 销售 企业 向 综合 能 源 服务 提供 商 转型 ， 加 速 电 网 从 能 源 企业 向 高 科技 企 
业 升级 。 

最 后 ， 电 网 营销 数据 市 场 化 从 数据 服务 、 数 据 增值 的 创业 孵化 、 数 据 增值 的 普 惠 金融 
到 数据 交易 ， 均 需要 从 数据 重要 性 识别 、 数 据 市 场 化 人 才 培 养 、 技 术 支撑 和 政策 法 规 4 个 
关键 点 进行 重点 关注 ， 从 而 促进 电能 高 效 利用 ， 形 成 新 的 经 济 增长 点 ， 推 动 电力 互联 网 新 
技术 、 新 模式 和 新 业态 的 培育 和 发 展 。 


5.7 ”电力 行业 邂逅 大 数据 


以 物 联网 和 云 计算 为 代表 的 新 一 代 IT 技 术 在 电力 行业 中 的 广泛 应 用 为 基础 ， 电 力 数 据 
资源 开始 急剧 增长 并 形成 了 一 定 的 规模 。 作 为 经 济 社会 发 展 的 “晴雨 表 ”， 电 力 大 数据 将 
会 在 服务 政府 与 社会 、 服 务 电力 用 户 等 方面 发 挥 积极 作用 。 当 电力 行业 邂逅 大 数据 ， 其 应 
用 价值 潜力 巨大 。 


5.7.1 宏观 经 济 形势 评价 与 预测 


1. 殉 强 指数 
使 用 “ 克 强 指数 ”可 基于 电力 大 数据 来 评价 、 预 测 宏观 经 济 形势 。2010 年 英国 《经 济 
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学 人 》 综 合 了 耗 电 量 、 铁 路 货运 量 和 银行 贷款 发 放量 三 种 经 济 指标 ， 经 回归 计算 得 到 了 一 
个 和 新 的 “ 克 强 指数 ”， 并 认为 该 指数 比 官方 GDP 数 字 更 能 反映 中 国 经 济 的 现实 状况 。 


2. 产业 关联 分 析 


产业 关联 分 析 即 依据 产业 之 间 的 关联 关系 、 产 业 用 电量 来 分 析 产业 发 展 潜能 。 例 如 ， 
根据 电力 大 数据 分 析 房 地 产 泡沫 ; 依据 钢铁 、 水 泥 、 装 饰 等 行业 的 用 电量 走势 分 析 房 地 产 
的 发 展 走势 ， 挖 所 其 他 行业 之 间 关联 度 等 。 


3. 产业 结构 分 析 


产业 结构 分 析 即 分 析 用 电 与 行业 分 布 、 地 区 产业 结构 的 关系 。 根 据 各 地 区 、 各 行业 的 
用 电信 息 ， 利 用 大 数据 分 析 技 术 分 析 和 研究 行业 用 电量 地 区 结构 变化 、 地 区 用 电量 行业 结 
构 变 化 。 通 过 分 析 各 行业 、 各 地 区 的 产业 结构 变化 ， 为 了 解 地 区 各 行业 发 展 趋势 和 行业 发 
展 前 景 提供 数据 支撑 。 

结合 企业 经 济 情况 和 企业 用 电量 关系 分 析 企业 是 否 进行 了 产业 转型 或 升级 ， 例 如 ， 用 
电量 提高 了 ， 销 售 额 提 高 了 ， 可 能 是 拓展 了 新 的 产业 ; 用 电量 持平 或 增长 不 高 ， 销 售 额 大 
幅 提高 ， 可 能 是 产业 转型 。 这 样 优化 资源 配置 ， 可 增加 核心 竞争 力 。 


5.7.2 ”服务 电力 用 户 


1. 用 户 能 耗 分 析 及 用 电 优化 


用 户 能 耗 分 析 是 指 基 于 用 电信 息 、 用 户 负荷 等 数据 ， 研 究 用 户 的 负荷 特性 及 用 电 行为 
习惯 ， 研 究 用 户 用 电 行 为 分 析 、 用 电 负荷 特性 分 析 、 用 电影 响 模型 、 用 户 能 耗 分 析 、 用 户 
用 电 建议 等 。 在 此 基础 上 制定 节能 方案 ， 提 高 能 源 利 用 率 ， 降 低 电 能 损失 ， 保 障 客户 经 济 
利益 ， 促 进 节能 减 排 。 


2. 用 电信 息 征 信 体 系 服务 


用 电信 息 征 信 体系 服务 是 指 基 于 电力 客户 基本 信息 、 长 期 的 用 电 记录 、 缴 费 情况 、 缴 
费 能 力 等 数据 ， 对 各 类 数据 进行 统计 分 析 ， 建 立 用 户 信 用 评级 指标 和 标准 ， 进 行 用 户 信用 
评价 ， 并 分 析 客 户 信用 变化 趋势 和 潜在 风险 。 同 时 ， 利 用 相似 的 方法 ， 基 于 电力 客户 基本 
信息 、 用 电 情 况 、 利 润 贡献 、 设 备 装备 水 平等 数据 ， 建 立 用 户 价值 评级 指标 和 评分 标准 ， 
综合 考虑 企业 信用 等 级 及 企业 经 营 情况 ， 实 现 对 客户 价值 等 级 的 评估 。 


5.7.3” 当 电力 行业 邂逅 大 数据 


世界 知名 风电 制造 商 丹麦 Vestas 公 司 计划 将 全 球 天 气 系统 数据 与 公司 发 电机 数据 相 结 
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合 ， 利 用 气温 、 气 压 、 空 气 湿度 、 风 向 等 数据 以 及 公司 历史 数据 ， 通 过 使 用 超级 计算 机 及 
大 数据 模型 解决 方案 ， 来 支持 其 风力 发 电机 的 选 址 ， 以 充分 利用 风速 、 风 力 、 气 流 等 因素 
达到 最 大 发 电量 ， 并 减少 能 源 成 本 。 这 是 电力 企业 有 效 利用 大 数据 实现 增 效 的 美好 设想 。 
有 专家 分 析 称 ， 每 当 电 力 大 数据 利用 率 调 高 10%， 便 可 使 电网 提高 20% 一 49% 的 利润 。 


1. 电力 海量 数据 将 带 来 高 附加 值 服务 


相对 于 其 他 行业 而 言 ， 电 力行 业 的 大 数据 资源 更 为 丰富 ， 对 于 其 海量 数据 的 处 理 难度 
更 大 。 目 前 电力 行业 大 数据 的 来 源 有 三 类 ， 再 加 上 “智能 电网 ”衍生 出 的 各 种 新 型 业务 ， 
会 使 大 数据 资源 放量 增长 ， 这 对 电力 单位 信息 安全 和 维护 能 力 都 将 是 巨大 的 考验 。 

如 能 充分 利用 这 些 基 于 电网 实际 的 数据 ， 对 其 进行 深入 分 析 ， 就 可 以 提供 大 量 的 高 附 
加 值 服务 。 这 些 增 值 服务 将 有 利于 电网 安全 检测 与 控制 ， 包 括 大 灾难 预警 与 处 理 、 供 电 与 
电力 调度 决策 支持 和 更 准确 的 用 电量 预测 ， 客 户 用 电 行为 分 析 与 客户 细 分 ， 电 力 企业 精细 
化 运营 管理 等 ， 实 现 更 科学 的 需求 侧 管理 。 


2. 数据 识别 和 挖潜 成 难点 


目前 ， 电 力行 业 在 应 用 大 数据 方面 已 经 不 是 简单 的 数据 量 问题 ， 而 是 如 何 从 海量 的 数 
据 中 识别 出 可 用 的 数据 ， 评 估 潜 在 的 价值 ， 以 及 电力 信息 化 过 程 中 的 安全 问题 。 

数据 海量 、 信 息 缺 乏 、 数 据 质量 较 低 、 防 御 脆弱 、 基 础 不 牢 、 共 享 不 畅 等 都 是 大 数据 
应 用 中 存在 的 瓶颈 。 

电力 行业 数据 在 可 获取 的 颗粒 程度 ， 数 据 获取 的 及 时 性 、 完 整 性 、 一 致 性 等 方面 的 
表现 均 不 尽 如 人 意 。 数 据 源 的 唯一 性 、 及 时 性 和 准确 性 急需 提升 ， 部 分 数据 尚 需 手 工 输 
入 ; 采集 效率 和 准确 度 还 有 所 欠缺 ， 行 业 中 企业 缺乏 完整 的 数据 管控 策略 、 组 织 以 及 管 
控 流 程 。 

从 数据 类 型 方面 来 看 ， 除 传统 的 结构 化 数据 外 ， 还 产生 了 系统 日 志 、 表 计 等 半 结 构 化 
数据 和 视频 检测 、 客 服 音频 等 非 结 构 化 数据 。 对 于 这 些 非 结 构 化 数据 ， 多 数 保存 在 本 地 系 
统 中 ， 且 不 能 被 检索 分 析 ， 缺 乏 对 其 进行 数据 管理 的 手段 。 从 数据 价值 挖掘 方面 来 看 ， 对 
数据 利用 的 手段 还 主要 停留 在 基于 报表 的 统计 分 析 ， 缺 乏 对 数据 进行 挖掘 和 探索 的 高 级 分 
析 手 段 ， 这 制约 了 数字 化 向 智能 化 的 发 展 。 

电力 大 数据 应 用 仍 处 于 前 期 研究 阶段 ， 需 要 电力 企业 、 生 产 厂商 、 研 究 机 构 共 同 致力 
大 数据 关键 技术 及 在 电力 行业 的 应 用 研究 和 开发 ， 改 变 电 网 思维 模式 ， 用 数据 说 话 。 
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6.1 电网 大 数据 平台 架构 


6.1.1 数据 分 析 平 台 层次 解析 


大 数据 分 析 处 理 架 构 如 图 6.1 所 示 。 


人 大 数据 存储 计算 组 件 


东 书 链 洋 症 淋 后记 
-二 泛 
席 


| 
有 业务 系统 结构 化 数据 采集 量 测 数据 非 结构 化 数据 
源 | 莫 销 系 纳 [95598 j 欧 资 系 纳 ( “。 】 | 图 电 信息 采 网 [… | 刀 视 频 图 用 区 从 (…] 


图 6.1 大 数据 分 析 处 理 架 构图 
@ 数据 接 入 : 通过 数据 抽取 、 实 时 数据 采集 、 文 件数 据 采 集 、 数 据 库 实 时 复制 等 多 
种 技术 ， 从 营销 业务 应 用 、 用 电 采 集 、 规 划 计 划 信 息 管 理 等 系统 中 抽取 和 采集 结 
构 化 数据 (关系 数据 库 记 录 ) 、 半 结构 化 数据 (日 志 、 邮 件 等 ) 、 非 结构 化 数据 
(文件 、 和 视频、 音频、 网络 数据 流 等 ) 。 同 时 ， 实 现 数 据 的 实时 、 非 实时 采集 。 
@ 数据 存储 : 负责 进行 海量 数据 的 存储 ， 针 对 全 数据 类 型 和 多 样 计算 需求 ， 以 海量 
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规模 存储 、 快 速 查询 读 取 为 特征 ， 存 储 来 自 数 据 整合 阶段 所 抽取 和 采集 的 各 类 数 
据 ， 支 撑 数 据 处 理 层 的 高 级 应 用 。 通 常情 况 下 ， 非 结构 化 数据 存储 在 分 布 式 文件 
系统 中 ， 半 结构 化 数据 采用 列 式 数据 库 或 键 值 数据 库 ， 结 构 化 数据 采用 行 式 存 储 数 
据 库存 储 ， 实 时 性 高 、 计 算 性 能 要 求 高 的 数据 存储 在 内 存 数 据 库 或 实时 数据 库 。 
@ 数据 计算 : 对 多 样 化 的 大 数据 提供 流 计 算 、 批 量 计算 、 内 存 计 算 、 查 询 计算 等 计 
算 功 能 ， 允 许 对 分 布 式 存储 的 数据 文件 或 内 存 数据 进行 查询 和 计算 。 通 过 流 计算 
技术 提供 实时 分 析 处 理 的 计算 能 力 ， 实 现实 时 决策 、 预 警 等 。 通 过 离线 计算 提供 
落地 数据 的 计算 能 力 ， 实 现 数据 的 批量 处 理 。 
@ 数据 分 析 : 对 多 样 化 的 大 数据 进行 加 工 、 处 理 、 分 析 、 挖 据 ， 产 生 新 的 业务 价 
值 ， 发 现 业务 发 展 方向 ， 提 供 业 务 决策 依据 。 
@ 平台 服务 : 将 底层 数据 分 析 工具 、 组 件 等 能 力 封装 后 为 业务 系统 的 大 数据 应 用 提 
供 平台 服务 支撑 ， 包 含 存储 服务 、 计 算 服务 、 分 析 服 务 、 展 现 服务 等 。 
通过 统一 的 平台 服务 接口 层 ， 支 持 文件 数据 的 多 协议 访问 ， 提 供 结构 化 、 半 结构 化 数 
据 的 SQL 操 作 能 力 ， 支 持 通过 Web Service 方 式 访问 平台 服务 ， 提 供 可 区 入 业务 系统 的 大 数 
据 展示 组 件 。 


6.1.2 规划 的 数据 平台 产品 AE ( Accelerate Engine ) 


AE 是 支持 下 一 代 企 业 计算 关键 技术 的 大 数据 处 理 平 台 ， 包 括 计算 引 擎 、 开 发 工具 、 
管理 工具 及 数据 服务 。 如 图 6.2 所 示 ， 计 算 引 擎 是 AE 的 核心 部 分 ， 支 持 从 多 数据 源 的 异 构 
数据 进行 实时 数据 集成 ， 提 供 分 布 式 环境 下 的 消息 总 线 ， 通 过 Service Gateway 能 够 与 第 三 
方 系统 进行 服务 整合 访问 ;设计 了 一 个 分 布 式 计算 框架 ， 可 以 处 理 结构 化 和 非 结构 化 数 
据 ， 并 提供 内 存 计算 、 规 划 计 算 、 数 据 挖掘 、 流 计算 等 各 种 企业 计算 服务 。Data Studio 包 
括 了 数据 建 模 、 开 发 、 测 试 等 集成 开发 环境 。 管 理工 具 包 括 了 实施 、 客 户 化 及 系统 管理 类 
工具 。AE 平 台 还 可 以 通过 UAP 开 发 者 社区 提供 丰富 的 数据 服务 。 


[ 具 | Datastwdio || 管理 工具 |[ 数据 服务 


内 存 计算 | | 数据 挖掘 | | 规划 计算 | | 流 计算 


分 布 式 计算 框架 


计算 引擎 


行 存储 ” 列 存储 ” 非 结构 化 数据 管理 


实时 数据 集成 (RDD | 消息 总 线 | Service Gateway 


图 6.2 ”AE 架 构图 
新 规划 将 BAP 平 台 拆 分 为 两 部 分 ， 底 层 技术 平台 发 展 内 存 计算 和 数据 处 理 ， 上 层 BI 展 
现 端 重点 发 展 仪表 盘 、Web 和 移动 设备 展现 。 
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两 大 产品 通过 数据 处 理 接口 和 嵌入 式 应 用 服务 于 业务 系统 。 

大 数据 处 理 平台 担负 着 为 BI 系 统 提 供 语义 层 和 OLAP 引 擎 等 底层 技术 支撑 、BI 及 ERP 
系统 的 性 能 提升 ， 以 及 数据 挖掘 、 非 结构 化 数据 处 理 等 系列 数据 整合 与 处 理 的 解决 方案 。 
具体 模块 包括 : 

语义 层 : 为 统一 的 查询 建 模 平台 和 数据 访问 接口 。 它 除了 提供 标准 的 查询 建 模 能 
力 外 ， 还 有 语义 驱动 、 语 义 规 则 、 语 义 函数 、 描 述 器 等 扩展 方式 ， 满 足 不 同 层面 的 扩 
展 要 求 。 

OLAP 引 擎 : 提供 全 面 的 多 维 建 模 与 分 析 能 力 。 多 维 模型 包括 维度 、 层 次 、 级 别 、 属 
性 、 指 标 、 计 算 成 员 等 ， 预 置 的 系列 分 析 函 数 包括 同比 、 环 比 、 期 比 、 基 比 等 时 间 序 列 分 
析 ， 占 比 、 排 名 、 方 差 等 统计 分 析 ， 指 数 回归 和 线性 回归 分 析 等 ， 提 供 标准 的 MDX 解 析 
与 执行 ， 与 数据 仓库 等 模块 结合 ， 提 供 针 对 海量 数据 的 实时 分 析 和 处 理 能 力 。 

数据 集成 : 数据 集成 项 目 有 多 种 类 型 。 

@ 企业 数据 仓库 i 从 众多 的 系统 中 提取 数据 到 通用 数据 仓库 ， 供 报告 、 分 析 或 商业 

情报 之 用 。 

@ 数据 移植 和 合并 : 将 现 有 系统 的 数据 转化 或 合并 为 新 系统 和 应 用 的 格式 和 结构 。 

@ 主 数据 管理 (MDM) : 生成 单一 的 视图 、 集 中 注册 ， 或 客户 、 产 品 、 供 应 商 等 主 

数据 的 数据 集中 地 。 

@ 云 计算 的 数据 集成 : 用 软件 即 服务 (SaaS) 应 用 集成 留 在 公司 内 的 数据 。 

@ 运营 数据 集成 : 跨 应 用 或 数据 库 进行 实时 的 数据 访问 、 转 化 和 交付 。 

@ B2B 数 据 交 换 : 跨 企业 边界 集成 客户 、 合 作 伙 伴 、 供 应 商 数 据 。 

信息 使 用 期 限 管理 : 着重 于 应 用 和 数据 库存 档 、 测 试 数据 管理 、 数 据 隐私 和 应 用 
淘汰 。 

信息 使 用 期 限 管理 要 求 能 够 胜任 在 大 数据 量 、 高 并 发 、 多 维 分 析 等 环境 背景 下 的 实时 
分 析 。 该 模块 通过 实时 数据 集成 (RDI) 提供 的 数据 实时 复制 与 DW 的 列 式 存储 引擎 ， 解 
决 了 以 往 在 传统 架构 模式 下 ， 普 通行 式 存储 引擎 无 法 实现 的 业务 场景 。 

数据 挖掘 : 又 译 为 资料 探勘 、 数 据 采 矿 。 它 是 数据 库 知 识 发 现 〈Knowledge-Discovery 
in Database，KDD) 中 的 一 个 步骤 。 近 年 来 ， 数 据 挖掘 引起 了 信息 产业 界 的 极 大 关注 ， 其 
主要 原因 是 存在 大 量 数 据 ， 可 以 广泛 使 用 ， 并 且 迫 切 需要 将 这 些 数据 转换 成 有 用 的 信息 和 
知识 。 获 取 的 信息 和 知识 可 以 广泛 用 于 各 种 应 用 ， 包 括 商务 管理 、 生 产 控制 、 市 场 分 析 、 
工程 设计 和 科学 探索 等 。 

数据 挖掘 利用 了 来 自如 下 一 些 领域 的 思想 : 统计 学 的 抽样 、 估 计 和 假设 检验 ， 人工 智 
能 、 模 式 识 别 和 机 器 学 习 的 搜索 算法 、 建 模 技 术 和 学 习 理论 。 数 据 挖掘 还 迅速 地 接纳 了 来 
自 其 他 领域 的 思想 ， 这 些 领域 包括 最 优化 、 进 化 计算 、 信 息 论 、 信 号 处 理 、 可 视 化 和 信息 
检索 。 一 些 领域 对 其 起 到 了 重要 的 支撑 作用 ， 特 别 是 需要 数据 库 系统 提供 有 效 的 存储 、 索 
引 和 查询 处 理 支 持 。 源 于 高 性 能 〈 并 行 ) 计算 的 技术 在 处 理 海量 数据 集 方面 常常 是 重要 
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的 。 分 布 式 技术 也 能 帮助 处 理 海量 数据 ， 并 且 当 数据 不 能 集中 到 一 起 处 理 时 更 是 至 关 
重要 。 

数据 挖掘 一 般 是 指 从 大 量 的 数据 中 通过 算法 搜索 隐藏 于 其 中 的 信息 的 过 程 。 数 据 挖 
掘 通常 与 计算 机 科学 有 关 ， 并 通过 统计 、 在 线 分 析 处 理 、 情 报 检索 、 机 器 学 习 、 专 家 系 
统 〈 依 靠 过 去 的 经 验 法 则 ) 和 模式 识别 等 诸多 方法 来 实现 上 述 目 标 。 支 持 运行 于 分 布 式 
文件 系统 和 分 布 式 计算 平台 之 上 的 分 布 式 数据 挖掘 算法 ， 具 体 包括 : 逻辑 斯 蒂 回 归 、 朴 
素 贝 叶 斯 分 类 算法 及 其 分 布 式 实现 ; 玉 均 值 、 谱 聚 类 算法 及 其 分 布 式 实现 ; 潜在 狄 利克 
雷 分 配 语义 挖掘 算法 及 其 分 布 式 实现 ; 频繁 模式 挖掘 分 析 算法 及 其 分 布 式 实现 ;协同 过 
滤 、 概 率 矩 阵 分 解 推荐 算法 及 其 分 布 式 实现 ; 提供 分 布 式 挖掘 算法 的 统一 操作 原 语 和 执 
行 引 擎 。 

数据 仓库 : 数据 仓库 提供 针对 海量 数据 进行 高 效 的 查询 和 分 析 。 它 包括 同时 支持 关 
系数 据 库 、NoSQL 数 据 库 和 分 布 式 文件 系统 进行 数据 存储 、 加 载 的 多 存储 引擎 ， 基 于 Map 
Reduce 框 架 针 对 海量 数据 的 高 性 能 查询 和 分 析 ， 以 及 Map Reduce 框 架 本 身 具 有 的 高 扩展 性 
和 容错 性 。 

非 结构 化 数据 管理 ， 非 结构 化 数据 不 包含 内 幅 的 语义 结构 描述 信息 ， 而 信息 系统 需 
要 结合 其 “内 容 ” 而 不 仅仅 是 数据 本 身 进 行 查询 、 检 索 、 分 析 与 挖掘 ， 因 此 非 结构 化 数 
据 管理 系统 需要 实现 非 结构 化 数据 的 数据 提取 。 提 取 的 非 结 构 化 数据 是 进行 后 续 处 理 的 
基础 ， 具 体 包括 结构 化 信息 和 底层 /高 层 特征 的 提取 。 非 结构 化 数据 提取 组 件 依赖 于 分 布 
式 文件 系统 和 非 结 构 化 数据 存储 提供 的 原始 数据 作为 数据 源 数 据 ， 依 赖 于 非 结构 化 数据 
存储 来 存储 提取 的 元 数据 或 者 特征 数据 ， 依 赖 于 并 行 计 算 框 架 来 分 布 化 执行 过 程 ， 加 快 
执行 速度 。 

消息 总 线 : 一 种 通信 工具 ， 可 以 在 机 器 之 间 互 相传 输 消 息 、 文 件 等 。 消 息 总 线 扮演 
着 一 种 消息 路 由 的 角色 ， 拥 有 一 套 完备 的 路 由 机 制 来 决定 消息 传输 方向 。 发 送 端 只 需要 向 
消息 总 线 发 出 消息 而 不 用 管 消息 被 如 何 转发 ， 为 了 避免 消息 丢失 ， 部 分 消息 总 线 提 供 了 一 
定 的 持久 化 存储 和 灾 备 机 制 。 消 息 总 线 包 括 主 数据 管理 、 集 中 身份 管理 、 应 用 集成 开发 环 
境 、 集 成 监控 管理 等 ， 满 足 集成 平台 的 应 用 需求 ， 支 持 界面 集成 、 信 息 集成 、 服 务 集成 、 
流程 集成 等 集成 方式 。 

分 布 式 计算 系统 : 分 布 式 计算 机 系统 是 将 多 台 小 型 、 微 型 机 互 连 组 成 的 一 种 新 型 计 
算 机 系统 。 它 冲破 了 传统 的 集中 式 单 机 局 面 ， 从 分 散 处 理 的 概念 出 发 来 组 织 计 算 机 系 
统 ， 具 有 较 高 的 性 价 比 ， 灵 活 的 系统 可 扩充 性 ， 良 好 的 实时 性 、 可 靠 性 与 容错 性 等 潜在 
优点 ， 是 近 几 年 来 计算 机 科学 技术 领域 中 极 受 重视 的 新 型 计算 机 系统 ， 现 已 成 为 迅速 发 
展 的 一 个 新 方向 。 分 布 式 计算 系统 包括 分 布 式 文件 系统 和 分 布 式 计算 框架 。 分 布 式 文 
件 系 统 以 高 可 靠 的 容错 机 制 为 核心 ， 系 统 架 构 包 括 多 元 数据 服务 器 、 多 数据 存储 服务 
器 、 多 监管 者 、 多 客户 端 ， 支 持 大 文件 和 大 数据 块 的 分 布 式 存储 与 管理 ， 分 布 式 计算 
框架 基于 Map Reduce 与 MPI 计 算 模型 ， 提 供 了 一 套 并 行 计算 框架 ， 并 利用 物理 机 以 及 
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虚拟 机 的 监控 信息 ， 实 现 对 计算 资源 的 合理 分 配 ， 支 持 对 大 量 工作 任务 的 灵活 切 分 和 
分 布 式 调度 。 

流 计算 引擎 :为 解决 系统 的 实时 性 和 一 致 性 的 高 要 求 的 实时 数据 处 理 框架 。 在 传统 
的 数据 处 理 流程 中 ， 总 是 先 收集 数据 ， 然 后 将 数据 放 到 数据 库 中 。 当 人 们 需要 的 时 候 通过 
数据 库 提取 数据 做 方向 ， 得 到 答案 或 进行 相关 的 处 理 。 这 样 看 起 来 虽然 非常 合理 ， 但 是 结 
果 却 非常 的 紧凑 ， 尤 其 是 在 处 理 一 些 实时 搜索 应 用 环境 中 的 某 些 具体 问题 时 ， 类 似 于 Map 
Reduce 方 式 的 离线 处 理 并 不 能 很 好 地 解决 问题 。 这 就 引出 了 一 种 新 的 数据 计算 结构 一 一 流 
计算 方式 。 这 种 方式 可 以 很 好 地 对 大 规模 流动 数据 在 不 断 变化 的 运动 过 程 中 实时 地 进行 分 
析 ， 捕 捉 到 可 能 有 用 的 信息 ， 并 把 结果 发 送 到 下 一 个 计算 节点 。 流 计算 引擎 是 为 解决 系统 
的 实时 性 和 一 致 性 的 高 要 求 的 实时 数据 处 理 框架 ， 具 备 高 可 拓展 性 ， 能 处 理 高 频数 据 和 大 
规模 数据 ， 实 时 流 计算 解决 方案 被 应 用 于 实时 搜索 、 高 频 交易 的 大 数据 系统 上 。 


6.2 电网 大 数据 基础 平台 关键 技术 


随 着 人 类 对 自然 和 社会 认识 的 进一步 加 深 及 人 类 活动 的 进一步 扩展 ， 科 学 研究 、 互 
联网 应 用 、 电 子 商 务 、 移 动 运 营 商 等 诸多 应 用 领域 产生 了 多 种 类 型 的 海量 数据 。 大 数据 的 
出 现 对 传统 的 数据 存储 、 数 据 处 理 及 数据 挖掘 提出 了 新 的 挑战 ， 同 时 也 深刻 地 影响 着 人 类 
的 生活 、 工 作 及 思维 。 传 统 的 数据 存储 方法 、 关 系数 据 库 、 数 据 处 理 和 数据 分 析 方法 已 不 
能 满足 当前 的 需要 。 维 基 百 科 给 出 的 大 数据 定义 如 下 : 巨 量 数据 (或 称 大 数据 、 海 量 资 
料 ) ， 指 的 是 所 涉及 的 资料 量规 模 巨 大 到 无 法 通过 目前 主流 软件 工具 ， 在 合理 时 间 内 达到 
搬 取 、 管 理 、 处 理 ， 并 整理 成 为 帮助 企业 经 营 决策 有 用 的 资讯 。 

英特尔 创始 人 戈 登 。 摩尔 (Gordon Moore) 在 1965 年 提出 了 著名 的 “摩尔 定律 ”: 即 
当 价格 不 变 时 ， 集 成 电路 上 可 容纳 的 晶体 管 数 目 ， 约 每 隔 18 个 月 便 会 增加 1 倍 ， 性 能 也 将 
提升 1 倍 。 

1998 年 图 灵 奖 获得 者 杰 姆 。 格 雷 〈Jim Gray) 提出 著名 的 “新 摩尔 定律 ”: 每 18 个 月 
全 球 新 增 信 息 量 是 计算 机 有 史 以 来 全 部 信息 量 的 总 和 。 

我 们 可 以 将 新 摩尔 定律 同 1439 年 前 后 古 登 堡 发 明 印 刷机 时 造成 的 信息 爆炸 做 对 比 : 在 
1453 一 1503 年 这 50 年 间 大 约 印 刷 了 800 万 本 书籍 ， 比 1200 年 之 前 君 士 坦 丁 堡 建立 以 来 整个 
欧洲 所 有 手 抄 书 还 要 多 ， 即 50 年 内 欧洲 的 信息 增长 了 1 倍 ; 而 现在 的 数据 增长 速度 则 是 每 
18 个 月 全 球 信息 总 量 翻 一 番 。 图 6.3 可 以 清楚 地 看 到 大 数据 的 增长 ， 图 6.4 是 IDC 公 司 对 未 
来 全 球 数据 总 量 的 预测 ， 图 6.5 则 表明 了 大 数据 正在 日 益 成 为 人 们 关注 的 焦点 。 我 们 已 经 
进入 到 大 数据 时 代 。 
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图 6.5 ”大 数据 关键 词 搜索 趋势 
电网 大 数据 的 关键 技术 〈 见 图 6.6) 主要 包括 大 数据 的 采集 、 大 数据 的 预 处 理 、 大 数 
据 存储 、 大 数据 挖掘 等 方面 。 
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一 一 大 数据 主要 技术 


* 2D 法 * 多维 法 

*， 时 间 可 视 化 * 层次 法 

。 实 时 处 理 机 器 语音 。 用 户 画 像 构建 
* Spark ，R 语 言 * 推理 预测 

* Storm 。 关 联 分 析 。 知 识 图 谱 

* 分 布 式 架构 *。 数据 库 体系 “MPP 混 合 结构 
。Hadoop * NoSQL *。Lambda 架 构 

* MapReduce “NewSQL 

* 数据 清理 机 器 语音 * 数据 归 约 

* 遗漏 值 处 理 *R 语 言 * 维度 归 约 

。 噪 音 数据 。 关 联 分 析 。 数 值 归 约 

。 硬件 采集 。 软件 采集 

。 传 感 技术 。 系 统 日 志 抓 取 

* RFID 。 企 业 特定 API、 网 络 众 包 


图 6.6 ”大 数据 主要 技术 


6.2.1 大 数据 采集 技术 


1. 大 数据 采集 的 定义 


大 数据 的 采集 是 指 将 分 布 的 、 异 构 数 据 源 中 的 数据 ， 如 关系 数据 、 平 面 数据 文件 等 抽 
取 到 临时 中 间 层 后 进行 清洗 、 转 换 、 集 成 ， 最 后 加 载 到 数据 仓库 或 数据 集 市 中 ， 成 为 联机 
分 析 处 理 、 数 据 挖掘 的 基础 。 并 且 利用 多 个 数据 库 来 接收 发 自 客户 端 (Web、App 或 者 传 
感 器 形式 等 ) 的 数据 ， 用 户 可 以 通过 这 些 数据 库 来 进行 简单 的 查询 和 处 理工 作 。 


2. 采集 技术 


大 数据 顾名思义 就 是 数据 量 比较 大 ， 单 位 一 般 为 TB 级 。 传 统 的 数据 采集 方法 如 网 络 
调查 、 留 置 问卷 调查 、 邮 寄 问 卷 调查 等 适合 数据 需要 量 较 小 的 采集 ， 但 还 不 能 胜任 大 数据 
技术 的 要 求 。 由 于 传统 的 数据 采集 方法 已 经 满足 不 了 大 数据 采集 工作 的 要 求 ， 所 以 开发 者 
在 传统 的 数据 采集 方法 上 采用 了 一 些 新 的 数据 采集 方法 ， 其 中 比较 典型 的 有 系统 日 志 采 集 
方法 和 网 络 数据 采集 方法 。 

(1) 系统 日 志 采 集 方法 

日 志文 件 能 够 详细 记录 系统 每 天 发 生 的 各 种 各 样 的 事件 ， 对 网 络 安全 起 着 非常 的 重要 
作用 。 网 络 中 心 有 大 量 安全 设备 ， 将 所 有 的 安全 设备 逐个 查看 是 非常 费时 费力 的 。 另 外 ， 
由 于 安全 设备 的 缓存 器 以 先进 先 出 的 队列 模式 处 理 日 志 记录 ， 保 存 时 间 不 长 的 记录 将 被 刷 
新 ， 一 些 重要 的 日 志 记录 有 可 能 被 覆盖 。 因 此 在 日 常 网 络 安全 管理 中 应 该 建立 起 一 套 有 效 
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的 日 志 数据 采集 方法 ， 将 所 有 安全 设备 的 日 记录 汇总 ， 进 行 统一 管理 。 

优点 : 数据 信息 完整 性 强 ， 便 于 管理 和 查询 ， 从 中 提取 出 有 用 的 日 志 信息 供 网 络 安全 
管理 方面 使 用 ， 及 时 发 现 有 关 安 全 设备 在 运行 过 程 中 出 现 的 安全 问题 ， 以 便 更 好 地 保证 网 
络 正常 运行 。 

缺点 : 数据 信息 量 较 大 ， 在 选择 时 无 用 信息 量 较 多 ， 在 分 析 和 处 理 前 必须 先进 行 大 量 
的 数据 筛选 和 过 滤 ， 需 要 投入 的 人 力 物力 较 多 。 

(2) 网 络 数据 采集 方法 

此 方法 主要 用 于 非 结 构 化 数据 的 采集 ， 是 指 利用 互联 网 搜索 引擎 技术 实现 有 针对 性、 
行业 性 、 精 准 性 的 数据 抓 取 ， 按 照 一 定 规则 和 筛选 标准 进行 数据 归 类 ， 并 形成 数据 库 文 
件 的 一 个 过 程 。 目 前 网 络 数据 采集 采用 的 技术 基本 上 是 利用 垂直 搜索 引擎 技术 的 网 络 蜂 蛛 
(或 数据 采集 机 器 人 )〉 、 分 词 系统 、 任 务 与 索引 系统 等 技术 进行 综合 运用 而 完成 。 随 着 互 
联网 技术 的 发 展 和 网 络 海量 信息 的 增长 ， 对 信息 的 获取 与 分 拣 成 为 一 种 越 来 越 大 的 需求 。 
人 们 一 般 通 过 以 上 技术 将 海量 信息 和 数据 采集 回 后 ， 进 行 分 拣 和 二 次 加 工 ， 实 现 网 络 数据 
价值 与 利益 更 大 化 、 更 专业 化 的 目的 。 

优点 : 支持 自 定义 表单 、 自 适应 采集 、 集 群 采集 、 仿 人 工 式 的 随机 采集 数据 、 各 种 排 
重 过 滤 等 功能 ， 数 据 来 源 广 ， 信 息 量 丰富 。 

缺点 ;信息 真实 性 存在 争议 ， 信 息 太 多 ， 过 滤 量 较 大 ， 给 数据 采集 工作 增加 工作 量 。 

特定 方法 对 于 企业 生产 经 营 数据 或 学 科研 究 数据 等 保密 性 要 求 较 高 的 数据 ， 可 以 通过 
与 企业 或 研究 机 构 合作 ， 使 用 特定 系统 接口 等 相关 方式 采集 数据 。 


6.2.2 数据 预 处 理 技术 


在 收集 的 原始 数据 中 ， 存 在 着 大 量 的 杂乱 性 、 重 复 性 和 不 完整 性 问题 ， 这 些 问题 给 后 
面 的 数据 分 析 和 数据 挖掘 带 来 不 少 难题 。 因 此 ， 对 数据 进行 预 处 理 显得 尤为 关键 。 数 据 
预 处 理 不 仅 保证 了 挖掘 数据 的 正确 性 和 有 效 性 ， 而 且 通 过 对 数据 格式 和 内 容 的 调整 ， 使 
数据 更 符合 挖掘 的 需要 ， 即 清除 与 数据 分 析 、 挖 掘 无 关 的 项 ， 给 挖掘 算法 提供 更 高 质量 
的 数据 。 

通常 数据 预 处 理 分 为 数据 清理 、 数 据 集成 、 数 据 变换 和 数据 归 约 四 个 部 分 。 数 据 清理 
是 指 去 除 源 数据 集中 包含 的 噪声 数据 和 无 关 数 据 ， 处 理 遗漏 数据 和 清洗 脏 数据 等 ， 解 决 现 
实 世界 数据 不 干净 、 不 完整 和 不 一 致 的 问题 。 主 要 包括 重复 数据 处 理 和 缺 值 数 据 处 理 ， 并 
完成 一 些 数据 类 型 的 转换 。 

数据 集成 主要 是 将 来 自 不 同 数据 源 的 数据 整合 成 一 致 的 数据 存储 。 该 部 分 主要 涉及 数 
据 的 选择 、 数 据 的 冲突 问题 以 及 不 一 致 数据 的 处 理 问题 ， 并 非 简单 的 数据 合并 ， 而 是 把 数 
据 进 行 统一 化 和 规范 化 处 理 后 形成 最 初始 的 挖掘 数据 的 复杂 过 程 。 

数据 变换 主要 是 将 数据 转换 成 适合 挖掘 的 形式 ， 包 括 平滑 、 聚 类 、 规 范 化 、 属 性 构造 
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等 操作 。 这 样 能 大 量 减 少 元 组 数量 ， 提 高 计算 效率 ， 同 时 也 提高 了 数据 挖掘 的 起 点 ， 使 得 
一 个 算法 能 够 发 现 多 层次 的 知识 ， 适 应 不 同 应 用 的 需要 。 也 可 以 通过 数据 仓库 技术 的 多 维 
立方 体 来 组 织 数据 。 

数据 归 约 是 针对 数据 处 理 的 技术 ， 如 数据 立方 体 聚 集 、 维 归 约 、 数 据 压 缩 、 数 值 归 约 
和 离散 化 都 可 以 用 来 得 到 数据 的 归 约 表示 ， 而 使 得 信息 内 容 的 损失 最 小 。 


6.2.3 ”大 数据 存储 技术 


1. 存储 管理 数据 的 背景 


大 数据 平台 的 关键 技术 之 一 是 大 数据 存储 及 管理 技术 。 企 业 对 数据 处 理 的 需求 日 益 
增长 ， 由 此 催生 了 海量 的 信息 。 美 国 互联 网 数据 中 心 指出 ， 互 联网 上 的 数据 每 年 将 增长 
50%， 每 两 年 便 翻 一 番 ， 面 对 庞大 的 信息 量 ， 如 何 存 储 及 管理 这 些 数据 非常 重要 。 随 着 大 
数据 应 用 的 爆发 性 增长 ， 它 已 经 衍生 出 了 自己 独特 的 架构 ， 而 且 也 直接 推动 了 存储 、 网 络 
以 及 计算 技术 的 发 展 。 毕 竟 处 理 大 数据 这 种 特殊 的 需求 是 一 个 新 的 挑战 。 硬 件 的 发 展 最 终 
还 是 由 软件 需求 推动 的 ， 就 这 个 例子 来 说 ， 很 明显 大 数据 分 析 应 用 需求 正在 影响 着 数据 存 
储 基础 设施 的 发 展 。 

从 另 一 方面 看 ， 这 一 变化 对 存储 厂商 和 其 他 IT 基 础 设施 厂商 未 尝 不 是 一 个 机 会 。 随 着 
结构 化 数据 和 非 结构 化 数据 量 的 持续 增长 ， 以 及 分 析 数 据 来 源 的 多 样 化 ， 此 前 存储 系统 的 
设计 已 经 无 法 满足 大 数据 应 用 的 需要 。 存 储 厂商 已 经 意识 到 这 一 点 ， 他 们 开始 修改 基于 块 
和 文件 的 存储 系统 的 架构 设计 以 适应 这 些 新 的 要 求 。 


2. 大 数据 存储 相关 技术 


1) 大 数据 编码 优化 技术 

基于 纠 删 码 的 数据 宛 余 技 术 是 不 同 于 多 副本 技术 的 另外 一 种 容 灾 策 略 ， 其 基本 思想 
是 : 通过 纠 删 码 算 法 对 个 原始 数据 块 进行 数据 编码 ， 得 到 m 个 纠 删 码 块 ， 并 将 这 ktm 个 数 
据 块 存 到 不 同 的 数据 存储 节点 中 ， 以 此 建立 容 灾 机 制 。 当 kt+m 个 元 素 中 任意 的 不 多 于 m 个 
元 素 出 错 〈 包 括 数 据 和 宛 余 出 错 ) 时 ， 均 可 通过 对 应 的 重 构 算法 恢复 出 原来 的 k 块 数据 。 
这 种 方法 具有 宛 余 度 低 、 磁 盘 利 用 率 高 等 特点 。 相 较 于 多 副本 策略 ， 在 大 数据 存储 平台 中 
利用 纠 删 码 建立 容 灾 机 制 ， 对 存储 空间 和 网 络 带宽 的 需求 有 所 降低 ， 但 是 由 于 引进 了 纠 删 
码 计算 ， 因 此 对 纠 删 码 编码 的 计算 速度 提出 了 要 求 。 最 有 效 的 办 法 就 是 减少 纠 删 码 计算 过 
程 的 异 或 次 数 。 目 前 的 调度 算法 都 是 启发 式 的 ， 如 CSHR、UBER-CSHR、X-Sets 等 。 用 这 
些 算法 对 一 个 柯 西 矩阵 求 取 调 度 时 ， 各 自得 到 的 调度 都 无 法 保证 是 所 有 调度 方法 中 最 优 
的 ， 并 且 柯 西 矩 阵 配置 参数 (k，m，w) 通过 组 合 会 得 到 柯 西 矩 阵 ， 究 竟 哪 一 个 矩阵 会 产 
生 较 好 的 调度 ， 目 前 为 止 尚 无 规律 可 循 。 针 对 该 问题 ， 为 了 提高 数据 编码 效率 ， 我 们 提出 
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了 关于 纠 删 码 求 取 调度 组 合 的 选择 框架 思想 。 该 框架 基于 现 有 技术 提供 了 一 种 高 效 的 数据 
编码 方案 一 一 优化 调度 方案 。 此 方案 能 为 柯 西 矩 阵 配 置 参数 (太刀 ，w) 选择 出 具有 高 编 
码 效率 的 柯 西 和 矩阵 和 相应 的 调度 ， 以 用 于 大 数据 存储 的 数据 编码 。 

大 数据 快速 Range-sum 查 询 技术 Range-sum， 主 要 是 对 满足 区 间 查 询 条 件 的 数据 进行 
求 和 ， 问 题 的 具体 形式 描述 如 下 : Select exp (Agg Column) ，other ColName where lil < 
ColNamei < li2 opr lj1 < ColNamej < 1j2 opr …。 其 中 ，exp 包 括 SUM 和 COUNT 两 类 基本 函 
数 ， 其 他 的 聚合 函数 如 AVG、STD 等 可 以 通过 扩展 SUM 和 COUNT 来 实现 ，AggColumn 是 
聚合 属性 列 ，1lil<ColNamei<li2、1j1<ColNamej<lj2 是 区 间 查 询 条件 ，opr 表 示 逻 辑 运 算 符 
号 ， 如 逻辑 AND 或 OR 等 。 通 常 将 支持 聚合 计算 的 属性 Agg-Column 称 为 聚合 属性 ， 支持 区 
间 查 询 条 件 的 属性 ColNamej， 称 为 索引 属性 。 分 布 式 环境 下 Range-sum 的 计算 开销 主要 是 
节点 之 间 和 节点 内 部 两 类 计算 时 间 延 迟 。 节 点 之 间 的 时 间 延 迟 是 指 在 计算 聚合 结果 时 多 个 
不 同 的 节点 之 间 进 行 数据 通信 、 同 步 等 带 来 的 延迟 ， 节 点 内 部 时 间 延 迟 是 指 由 于 区 间 查 询 
条 件 包含 的 数据 量 大 ， 每 个 节点 需要 处 理 不 断 膨胀 的 原始 数据 或 索引 数据 而 产生 的 延迟 。 
只 有 对 两 类 延迟 进行 有 效 优 化 ， 才 能 充分 提高 大 数据 Range-sum 的 计算 效率 。FastRAQ 是 
一 种 根据 聚合 计算 特点 而 设计 的 面向 聚合 计算 模式 的 大 数据 分 区 方法 。 该 方法 通过 在 每 个 
分 区 内 独立 获得 近似 聚合 计算 结果 ， 来 避免 分 区 之 间 数 据 交 互 和 等 待产 生 的 延迟 ， 分 区 内 
通过 设计 支持 区 间 查 询 条 件 的 基数 估算 方法 ， 并 结合 分 区 内 聚合 属性 无 偏 估 样 本 ， 来 获取 
符合 精度 的 聚合 计算 结果 ， 以 避免 扫描 原始 数据 带 来 的 计算 开销 。 

FastRAQ 根 据 聚 合计 算 结果 ， 把 数据 划分 成 相互 独立 的 多 个 分 区 ， 每 个 分 区 负责 一 
个 固定 的 聚合 属性 值 的 范围 ， 所 有 分 区 负责 的 属性 值 范围 构 成 了 整个 聚合 属性 值 的 值 域 
空间 。 在 每 个 分 区 内 ， 计 算 无 偏 估 计 样 本 ， 并 将 其 作为 整个 分 区 内 聚合 属性 的 近似 值 。 
分 区 算法 可 以 限定 样本 值 的 相对 误差 。FastRAQ 在 每 个 分 区 内 采用 了 基数 估算 直方 图 ， 以 
支持 区 间 条 件 下 记录 基数 的 统计 。 区 间 基 数 估算 直方 图 是 在 恒定 索引 数据 量 条 件 下 ， 以 
散 列 运算 为 基础 计算 出 来 的 。FastRAQ 在 查询 前 需要 组 织 好 分 区 和 每 个 分 区 内 的 索引 结 
构 。FastRAQ 结 合计 算 模 式 设 计 了 一 种 schema-less〈 无 模式 ) 的 列 族 (column-family〉 描 
述 方法 ， 在 列 族 中 定义 了 聚合 、 索 引 、 其 他 这 3 类 不 同 的 属性 和 能。Fast-RAQ 基 于 schema 建 
立 了 类 SQL 的 数据 操作 语言 (Data Manipulation Language，DML) 与 数据 定义 语言 (Data 
Definition Language, DDL) 。 

2) 大 数据 流 式 计算 技术 

由 于 大 数据 流 式 计算 系统 无 法 确定 数据 到 来 的 时 刻 和 顺序 ， 因 此 不 进行 流 式 数据 的 存 
储 ， 而 是 采用 了 流动 数据 到 来 后 在 内 存 中 直接 进行 数据 的 实时 计算 方法 。 典 型 的 流 式 数据 
架构 有 推 特 〈Twitter) 的 Storm 和 雅虎 的 $4。 对 于 这 种 计算 架构 ， 其 数据 是 在 任务 拓扑 中 
被 计算 ， 并 输出 有 价值 的 信息 。 对 于 那 种 无 须 先 存储 数据 而 直接 进行 数据 计算 ， 实 时 性 要 
求 严格 而 数据 精度 往往 不 太 重 要 的 应 用 场景 ， 大 数据 流 式 计算 具有 明显 的 优势 。 
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在 大 数据 流 式 计算 环境 中 ， 数 据 流 具有 5 个 特征 : 

(1) 实时 性 。 流 式 数据 是 指 那 些 实时 产生 和 实时 计算 出 来 的 数据 ， 其 结果 反馈 往往 
需要 确保 及 时 性 。 流 式 数据 价值 的 有 效 时 间 往 往 较 短 ， 大 部 分 数据 会 直接 在 内 存 中 进行 计 
算 并 被 丢弃 ， 只 有 少数 数据 才 保存 到 硬盘 中 。 

(2) 易 失 性 。 数 据 的 使 用 往往 是 一 次 性 的 、 易 失 的 ， 即 使 重 放 ， 得 到 的 数据 流 和 之 
前 的 数据 流 往往 也 不 相同 。 

(3) 突 发 性 。 数 据 的 产生 完全 由 数据 源 确定 ， 由 于 不 同 的 数据 源 在 不 同时 空 范围 内 
的 状态 不 统一 且 动 态 变化 ， 导 致 数据 流 的 速率 具有 突 发 性 ， 即 前 一 时 刻 和 后 一 时 刻 的 数据 
速率 可 能 会 存在 巨大 差异 。 

(4) 独立 性 。 大 数据 流 式 计算 架构 的 数据 源 之 间 是 相互 独立 的 ， 所 处 的 时 空 环境 也 
不 尽 相同 ， 使 得 数据 流 之 间 各 个 数据 元 素 的 相对 顺序 无 法 得 到 保证 ; 另 一 方面 ， 即 使 是 同 
一 个 数据 流 ， 由 于 时 间 和 环境 的 动态 变化 ， 也 会 导致 重 放 的 数据 流 和 之 前 数据 流 中 数据 元 
素 的 顺序 出 现 不 一 致 。 

(5) 无 限 性 。 只 要 数据 源 处 于 活动 状态 ， 数 据 就 会 一 直 产 生 并 持续 增加 。 可 以 说 ， 
潜在 的 数据 量 是 无 限 的 ， 无 法 预知 数据 流 何 时 能 够 结束 。 

针对 具有 上 述 特征 的 流 式 大 数据 ， 理 想 的 大 数据 流 式 计算 系统 应 该 表现 出 低 延 迟 、 
高 吞吐 、 持 续 稳定 运行 和 弹性 可 伸缩 等 特性 。 这 其 中 离 不 开 系 统 架构 、 数 据 传输 、 编 程 接 
口 、 系 统 的 高 可 用 策略 等 关键 技术 的 合理 规划 和 和 良好 设计 。 

系统 架构 : 指 系统 中 各 子 系统 间 的 组 织 方式 ， 分 为 无 中 心 节点 的 对 称 式 架 构 〈 如 S4 系 
统 ) 和 有 中 心 节 点 的 主 从 式 架 构 〈 如 Storm 系 统 ) 。 大 数据 流 式 计 算 需 要 选择 特定 的 系统 
架构 进行 流 式 计算 任务 的 部 署 。 

数据 传输 : 在 有 向 任务 图 到 物理 计算 节点 的 部 署 完 成 之 后 ， 各 个 计算 节点 之 间 的 数据 
传输 方式 可 分 为 主动 推送 〈 基 于 Push) 和 被 动 拉 取 (基于 Pull) 两 种 方式 。 在 大 数据 流 式 
计算 环境 中 ， 为 了 实现 高 吞吐 和 低 延 迟 ， 需 要 对 有 向 任务 图 以 及 有 向 任务 图 到 物理 计算 节 
点 的 映射 方式 进行 更 加 系统 的 优化 。 

编程 接口 : 用 于 通过 有 向 任务 图 来 描述 任务 内 在 逻辑 和 依赖 关系 ， 以 及 为 实现 任务 图 
中 各 节点 的 处 理 功 能 进行 编程 。 用 户 策略 的 定制 、 业 务 流 程 的 描述 和 具体 应 用 的 实现 都 要 
使 用 系统 提供 的 应 用 编程 接口 。 良 好 的 应 用 编程 接口 可 以 方便 用 户 实现 业务 逻辑 ， 减 少 用 
户 的 编程 工作 量 ， 并 降低 用 户 系统 功能 的 实现 门槛 。 当 前 大 多 数 开源 大 数据 流 式 计算 系统 
均 提 供 了 类 似 于 Map Reduce 的 类 MR 用 户 编程 接口 。 

系统 高 可 用 策略 : 指 状态 备份 和 故障 恢复 策略 。 当 故障 发 生 后 ， 系 统 根 据 预 先 定义 的 
策略 进行 数据 的 重 放 和 恢复 。 策 略 可 分 为 被 动 等 待 (passive standby) 、 主 动 等 待 〈active 
standby) 和 上 游 备 份 upstream backup) 等 几 类 。 

此 外 ， 大 数据 流 式 计算 系统 还 需要 其 他 关键 技术 的 支持 ， 这 些 技术 包括 系统 故障 恢 
复 、 系 统 资源 调度 、 负 载 均衡 策略 、 数 据 在 任务 拓扑 中 的 路 由 策略 等 。 
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3) 大 数据 图 计算 技术 

大 数据 图 计算 技术 是 大 数据 计算 的 热门 方向 ， 主 要 用 来 分 析 数 据 节点 之 间 的 关系 和 相 
似 度 。 该 技术 已 应 用 于 用 户 分 析 、 欺 诈 检 测 、 生 命 科 学 等 多 个 领域 ， 其 巨大 的 商业 价值 已 
经 凸显 出 来 。 

例如 ， 利 用 PageRank 技 术 发 现 有 影响 力 的 用 户 ， 将 GraphLab 技 术 用 于 社区 、 其 诈 检测 
和 推荐 系统 ， 还 有 一 些 分 布 式 计 算 应 用 到 Giraph、GraphX、Faunus 和 Grappa。 其 中 ，GraphLab 
是 美国 卡 内 基 梅 隆 大 学 开发 的 一 个 并 行 的 图 挖掘 分 布 式 系统 。 该 技术 解决 了 传统 MapReduce 中 
有 关机 器 学 习 处 理 中 存在 的 频繁 迭代 计算 和 大 量 节点 通信 导致 计算 效率 低下 的 问题 。 

具体 来 讲 ， 在 Graphlab 中 ， 以 顶点 为 计算 单元 ， 将 机 器 学 习 算 法 抽象 为 聚集 (gather) 、 
应 用 (apply)〉 和 分 散 〈(scatter) 3 个 步骤 。 在 每 一 个 迭代 过 程 中 ， 点 的 计算 都 要 经 过 这 3 
步 。 并 且 ，Graphlab 是 在 共享 内 存 的 基础 上 ， 各 机 器 异步 、 动 态 并 行 地 执行 计算 任务 ， 比 
整体 同步 并 行 (Bulk Synchronous Parallel，BSP) 计算 效率 更 高 ， 同 时 还 能 够 很 好 地 保证 
数据 的 一 致 性 。 

在 大 数据 时 代 ， 大 图 的 分 割 是 大 数据 图 计算 最 为 突出 的 问题 。 由 于 对 整个 图 的 访问 是 
随机 进行 的 ， 因 此 在 图 划分 时 需要 考虑 3 个 方面 。 

(1) 通信 代价 ， 即 访问 跨 机 器 交互 边 的 通信 量 。 

(2) 负载 均衡 ， 即 让 每 一 台 机 器 的 问题 规模 基本 接近 。 

(3) 存储 元 余 ， 即 为 了 减少 通信 量 ， 需 要 在 机 器 上 复制 其 他 机 器 的 存储 信息 〈 这 也 
引发 了 数据 一 致 性 问题 ) 。 通 过 考虑 存储 的 宛 余 度 ， 使 综合 开销 达到 最 优 。 


3. 数据 压缩 


构建 大 数据 平台 时 ， 在 满足 设计 指标 需求 的 前 提 下 ， 构 建 方案 的 成 本 越 低 ， 大 数据 处 
理 所 获 得 的 价值 就 越 高 。 

数据 存储 不 仅 要 求 方便 管理 ， 而 且 在 此 基础 上 缩减 存储 成 本 也 是 当今 大 数据 存储 的 发 
展 趋势 。 传 统 的 数据 仓库 解决 方案 通过 堆 秋 硬件 设备 进行 扩容 的 方法 来 实现 对 动态 增长 的 
数据 的 存储 ， 这 种 方法 成 本 过 于 昂贵 ， 已 经 无 法 满足 大 数据 平台 的 需求 。 

单纯 地 提高 存储 容量 并 不 能 从 根本 上 解决 问题 。 首 先 ， 存 储 设备 的 采购 预算 越 来 越 
高 ， 大 多 数 企 业 难 以 承受 如 此 巨大 的 开支 。 其 次 ， 随 着 大 数据 平台 的 扩大 ， 管 理 成 本 、 占 
用 空间 、 制 冷 能 力 、 能 耗 等 也 都 变 得 越 来 越 高 ， 其 中 能 耗 尤为 突出 。 因 此 ， 如 何 降低 和 治 
理 海 量 数 据 的 蔓延 式 增长 也 是 需要 面 对 的 挑战 。 

目前 ， 比 较 成 熟 的 缩减 数据 存储 成 本 的 方法 是 采用 数据 压缩 技术 。 数 据 压缩 技术 ， 就 
是 用 最 少 的 数码 来 表示 信和 号 的 技术 。 数 据 为 什么 能 够 压缩 呢 ? 首先 ， 数 据 中 间 常 存在 一 些 
多 余 成 分 ， 即 元 余 度 。 例 如 在 某 文件 中 ， 某 些 符号 会 重复 出 现 多 次 ， 这 样 的 内 容 可 以 在 编 
码 中 除去 或 减少 。 其 次 ， 相 邻 数据 之 间 往往 有 一 定 的 关联 性 ， 例 如 电视 信号 的 相 邻 两 帧 之 
间 往 往 只 有 小 部 分 画面 是 不 同 的 ， 因 此 相 邻 的 帧 可 以 通过 某 些 数学 变换 得 到 ， 而 不 必 存 储 
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整个 帧 信号 。 

数据 压缩 从 对 原始 数据 信息 保留 程度 的 角度 可 分 为 两 种 : 无损 压缩 和 有 损 压 缩 。 

(1) 无 损 压 缩 ， 顾 名 思 义 ， 就 是 对 压缩 后 的 数据 进行 解压 缩 后 ， 得 到 的 数据 与 原始 
数据 一 致 。 但 它 的 压缩 率 是 受到 数据 统计 元 余 度 的 理论 限制 ， 一 般 为 2 : 1~ 5 : 1。 这 类 
方法 广泛 用 于 文本 数据 、 程 序 和 特殊 应 用 场合 的 图 像 数据 〈 如 指纹 图 像 ， 医 学 图 像 等 ) 的 
压缩 。 

由 于 无 损 压缩 的 压缩 比 限制 ， 往 往 不 能 满足 人 们 的 需求 ， 于 是 出 现 了 有 损 压 缩 。 

(2) 有 损 压 缩 ， 是 经 过 压缩 、 解 压 的 数据 与 原始 数据 不 同 但 是 非常 接近 的 压缩 方 
法 。 有 损 数据 压缩 又 称 破坏 型 压缩 ， 即 将 次 要 的 信息 数据 压缩 掉 ， 以 牺牲 一 些 质量 为 代 
价 来 减少 数据 量 ， 使 压缩 比 提高 。 常 见 的 声音 、 图 像 、 视 频 压缩 基本 都 是 有 损 压缩 ， 
如 .mp3、.divX、.Xvid、.jpeg、Im、.rmmvb、.wma、.wmv 等 格式 都 是 有 损 压 缩 。 

有 损 压 缩 有 较 高 的 压缩 比 ， 尽 管 会 有 一 定 程度 的 数据 损失 ， 但 会 在 系统 允许 的 范围 内 
满足 需求 。 音 频 能 够 在 没有 察觉 质量 下 降 的 情况 下 实现 10 : 1 的 压缩 比 ， 视 频 能 够 在 稍微 
观察 到 质量 下 降 的 情况 下 实现 如 300 : 1 这 样 非常 大 的 压缩 比 。 

因此 ， 通 过 数据 压缩 技术 ， 可 以 有 效 减 少数 据 对 存储 的 需求 ， 降 低 成 本 。 


4. 数据 存储 技术 及 管理 


目前 常用 的 数据 存储 技术 包括 : 开发 新 型 数据 库 技 术 、 对 海量 数据 进行 分 区 操作 、 编 
写 优良 的 程序 代码 、 建 立 广 泛 的 索引 、 加 大 虚拟 内 存 、 建 立 缓存 机 制 、 使 用 临时 表 和 中 间 
表 、 使 用 文本 格式 进行 处 理 、 优 化 查询 SQL 语句 、 使 用 数据 仓库 和 多 维 数据 库存 储 等 。 

对 于 开发 新 型 数据 库 技 术 ， 非 关系 型 数据 库 即 NoSQL， 抛 弃 了 关系 数据 库 复杂 的 关系 
操作 、 事 务 处 理 等 功能 ， 仅 提供 简单 的 键 值 对 (Key，Value) 数据 的 存储 与 查询 ， 换 取 高 
扩展 性 和 高 性 能 ， 以 满足 论坛 、 博 客 、SNS、 微 博 等 互联 网 类 应 用 场景 下 针对 海量 数据 的 
简单 操作 需求 ， 新 型 分 析 型 GBase 8a 数 据 库 是 具有 高 效 复杂 统计 和 分 析 能 力 的 列 存储 关系 
型 数据 库 ， 以 列 为 基本 存储 结构 和 数据 运算 对 象 ， 数 据 压 缩 比 可 达 1 : 5~ 1 : 20， 数 据 加 
载 速度 快 ， 查 询 性 能 高 。 

解决 了 数据 存储 问题 之 后 ， 就 要 对 它 进 行 有 效 的 管理 。 如 今 ， 数 据 已 成 为 一 种 资产 ， 
因为 企业 在 对 客户 办 理 业务 的 信息 中 进行 分 析 、 探 索 、 总 结 ， 就 能 洞察 客户 所 需 ， 为 其 设 
计 新 产品 ， 为 客户 个 性 化 营销 产生 新 的 价值 。 有 效 地 管理 数据 ， 能 创造 更 多 的 价值 。 

数据 仓库 是 管理 数据 的 工具 ， 近 年 来 ， 它 正 朝 着 专业 性 越 来 越 强 、 成 本 越 来 越 低 的 方 
向 发 展 。 数 据 仓库 专用 设备 的 出 现 ， 使 得 大 多 数 中 小 企业 不 必 花 高 价 购买 Oracle、IBM 等 
公司 的 专业 设备 。Yahoo 的 开源 小 组 开发 出 Hadoop 就 是 一 种 基于 MapReduce 技 术 的 并 行 计 
算 框架 。 在 2008 年 之 前 ，Facebook 就 在 Hadoop 基 础 上 开发 出 类 似 数据 仓库 的 Hive， 用 来 分 
析 点 击 流 和 日 志文 件 。 几 年 下 来 ， 基 于 Hadoop 的 整套 数据 仓库 解决 方案 已 日 到 成 熟 。 该 
方案 在 国内 有 普遍 的 应 用 ， 例 如 淘宝 的 数据 魔方 。 


第 6 章 ”电网 大 数据 应 用 技术 ES 


还 有 其 他 一 些 技术 能 够 提高 数据 的 访问 性 能 ， 例 如 数据 温度 技术 ， 经 常 被 访问 的 数据 
就 是 高 温 数据 ， 这 类 数据 可 以 存储 在 高 速 存储 区 ， 反 之 ， 访 问 频率 小 的 数据 则 放 在 低速 存 
储 区 。 存 储 访问 技术 也 在 日 益 更 新 ， 比 如 Teradata 前 几 年 推出 固态 硬盘 数据 仓库 ， 用 接近 
闪存 的 性 能 访问 数据 ， 比 原来 在 磁盘 上 顺序 读 取 数据 快 很 多 。 

总 之 ， 随 着 数据 爆炸 般 的 增长 ， 大 数据 存储 及 管理 技术 将 会 是 大 数据 平台 一 直 需 要 钻 
研 和 更 新 的 一 项 重要 技术 。 


6.2.4 数据 仓库 技术 


ETL 用 来 描述 将 数据 从 来 源 端 经 过 抽取 (extract) 、 转 换 (transform) 、 加 载 
(load) 至 目的 端的 过 程 。 ETL 较 常用 在 数据 仓库 ， 但 其 对 象 并 不 限于 数据 仓库 。 

ETL 是 构建 数据 仓库 的 重要 一 环 ， 用 户 从 数据 源 抽取 出 所 需 的 数据 ， 经 过 数据 清洗 ， 
最 终 按 照 预先 定义 好 的 数据 仓库 模型 ， 将 数据 加 载 到 数据 仓库 中 去 。 

信息 是 现代 企业 的 重要 资源 ， 是 企业 运用 科学 管理 、 决 策 分 析 的 基础 。 目 前 ， 大 多 数 
企业 花费 大 量 的 资金 和 时 间 来 构建 联机 事务 处 理 OLTP 的 业务 系统 和 办 公 自 动 化 系统 ， 用 
来 记录 事务 处 理 的 各 种 相关 数据 。 据 统计 ， 数 据 量 每 2 一 3 年 就 会 成 倍增 长 ， 这 些 数据 蕴含 
着 巨大 的 商业 价值 ， 而 企业 所 关注 的 通常 只 占 总 数据 量 的 2% 一 4%。 因 此 ， 企 业 仍 然 没 有 
最 大 化 地 利用 已 存在 的 数据 资源 ， 以 至 于 浪费 了 更 多 的 时 间 和 资金 ， 也 失去 制定 关键 商业 
决策 的 最 佳 契机 。 于 是 ， 企 业 如 何 通过 各 种 技术 手段 ， 把 数据 转换 为 信息 、 知 识 ， 已 经 成 
了 提高 其 核心 竞争 力 的 主要 瓶颈 。 而 ETL 正 是 这 样 一 个 主要 的 技术 手段 。 

ETL 工 具 的 典型 代表 有 Informatica、DataStage、OWB、 微 软 公司 的 DTS、Beeload、 
Kettle 等 。 

开源 的 工具 有 Eclipse 的 ET 插件 CloverETI1。 

ETL 的 质量 问题 具体 表现 为 正确 性 、 完 整 性 、 一 致 性 、 完 备 性 、 有 效 性 、 时 效 性 和 可 
获取 性 等 。 影 响 质 量 问题 的 原因 有 很 多 ， 由 系统 集成 和 历史 数据 造成 的 原因 主要 包括 业务 
系统 不 同时 期 系统 之 间 数 据 模型 不 一 致 ， 业 务 系统 不 同时 期 业务 过 程 有 变化 ， 旧 系统 模块 
在 运营 、 人 事 、 财 务 、 办 公 系 统 等 相关 信息 不 一 致 ， 遗 留 系 统 和 新 业务 、 管 理 系 统 数 据 集 
成 不 完备 带 来 的 不 一 致 性 。 

实现 ETL 首 先 要 实现 ETL 转 换 过 程 。 体 现 为 以 下 7 个 方面 。 

(1) 空 值 处 理 ， 可 捕获 字段 空 值 ， 加 载 或 替换 为 其 他 含义 数据 ， 并 可 根据 字段 空 值 
实现 分 流 加 载 到 不 同 目标 库 。 

(2) 规范 化 数据 格式 : 可 实现 字段 格式 约束 定义 ， 对 于 数据 源 中 的 时 间 、 数 值 、 字 
符 等 数据 ， 可 自 定义 加 载 格式 。 

(3) 拆 分 数据 : 依据 业务 需求 可 对 字段 进行 分 解 。 例 如 ， 主 叫 号 码 为 861082585313- 
8148， 可 进行 区 域 码 和 电话 号 码 的 分 解 。 


基于 大 数据 的 智慧 电网 技术 


(4) 验证 数据 正确 性 : 可 利用 Lookup 及 拆 分 功能 进行 数据 验证 。 例 如 ， 主 叫 号 码 为 
861082585313-8148， 进 行 区 域 码 和 电话 号 码 分 解 后 ， 可 利用 Lookup 返 回 主 叫 网 关 或 交换 
机 记载 的 主 叫 地 区 ， 进 行 数据 验证 。 

(5) 数据 替换 :依据 业务 规则 ， 可 实现 无 效 数据 、 缺 失 数 据 的 替换 。 

(6) Lookup: 查获 丢失 数据 Lookup 实 现 子 查询 ， 并 返回 用 其 他 手段 获取 的 缺失 字 
段 ， 保 证 字段 完整 性 。 

(7) 建立 ETL 过 程 的 主 外 键 约束 : 对 无 依赖 性 的 非法 数据 ， 可 替换 或 导出 到 错误 数 
据 文件 中 ， 保 证 主键 唯一 记录 的 加 载 。 

ETL 工 具 目 前 有 两 种 技术 架构 一 一 ETL 架 构 和 ELT 架 构 ， 这 两 种 架构 的 区 别 如 下 。 

1) ETL 架 构 

在 ETL 架 构 中 ， 数 据 的 流向 是 从 源 数据 流 到 ETL 工 具 。ETL 工 具 是 一 个 单独 的 数据 处 
理 引擎 ， 一 般 会 在 单独 的 硬件 服务 器 上 实现 所 有 数据 转化 的 工作 ， 然 后 将 数据 加 载 到 目标 
数据 仓库 中 。 如 果 要 增加 整个 ETL 过 程 的 效率 ， 则 只 能 增强 ETL 工 具 服务 器 的 配置 ， 优 化 
系统 处 理 流 程 〈 一 般 可 调整 的 东西 非常 少 ) 。IBM 的 DataStage 和 Informatica 的 PowerCenter 
原来 都 采用 这 种 架构 。 

ETL 架 构 的 优势 有 : 

(1) ETL 可 以 分 担 数据 库 系 统 的 负载 〈 采 用 单独 的 硬件 服务 器 ) 。 

(2) 相对 于 ELT 架 构 ETL 可 以 实现 更 为 复杂 的 数据 转化 逻辑 。 

(3) ETL 采 用 单独 的 硬件 服务 器 。 

(4) ETL 与 底层 的 数据 库 数据 存储 无 关 。 

2) ELT 架 构 

在 ELT 架 构 中 ，ELT 只 负责 提供 图 形 化 的 界面 来 设计 业务 规则 ， 数 据 的 整个 加 工 过 程 
都 在 目标 和 源 的 数据 库 之 间 流 动 。ELT 通 过 协调 相关 的 数据 库 系统 来 执行 相关 的 应 用 ， 数 
据 加 工 过 程 既 可 以 在 源 数 据 库 端 执行 ， 也 可 以 在 目标 数据 仓库 端 执行 (主要 取决 于 系统 
的 架构 设计 和 数据 属性 ) 。 当 ETL 过 程 需要 提高 效率 ， 则 可 以 通过 对 相关 数据 库 进 行 调 
优 ， 或 者 改变 执行 加 工 的 服务 器 就 可 以 达到 。 一 般 情况 下 数据 库 厂 商会 力 推 该 种 架构 ， 像 
Oracle 和 Teradata 都 极力 宣传 ELT 架 构 。 

ELT 架 构 的 优势 有 : 

(1) ELT 主 要 通过 数据 库 引 擎 来 实现 系统 的 可 扩展 性 (尤其 是 当 数 据 加 工 过 程 在 晚 
上 时 ， 可 以 充分 利用 数据 库 引擎 的 资源 ) 。 

(2) ELT 可 以 保持 所 有 的 数据 始终 在 数据 库 当中 ， 避 免 数 据 的 加 载 和 导出 ， 从 而 保 
证 效率 ， 提 高 系统 的 可 监控 性 。 

(3) ELT 可 以 根据 数据 的 分 布 情况 进行 并 行 处 理 优 化 ， 并 可 以 利用 数据 库 的 固有 功 
能 优化 磁盘 IO。 

(4) ELT 的 可 扩展 性 取决 于 数据 库 引擎 和 其 硬件 服务 器 的 可 扩展 性 。 
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通过 对 相关 数据 库 进 行 性 能 调 优 ，ETL 过 程 获得 3 一 4 倍 的 效率 提升 一 般 不 是 特别 困 
难 的 。 


6.3 ”电网 大 数据 应 用 产品 


6.3.1 Informatica 


Informatica 是 全 球 领先 的 独立 企业 数据 集成 软件 提供 商 。 世 界 各 地 的 组 织 机 构 依赖 
Informatica 为 其 重要 业务 提供 及 时 、 相 关 和 可 信 的 数据 ， 从 而 赢得 竞争 优势 。 目 前 ， 全 球 
众多 知名 企业 依靠 Informatica 使 用 及 管理 其 在 本 地 的 、 云 中 的 和 社交 网 络 上 的 信息 资产 ， 
以 实现 他 们 的 信息 潜能 ， 并 推动 卓越 的 业务 目标 。1993 年 创立 于 美国 加 利 福 尼 亚 州 ， 并 于 
1999 年 4 月 在 纳 斯 达 克 上 市 ， 作 为 全 球 领先 的 独立 企业 数据 集成 软件 提供 商 ，Informatica 
帮助 世界 各 地 的 组 织 为 其 首要 业务 提供 及 时 、 相 关 和 可 信 的 数据 ， 从 而 在 当今 全 球 信息 经 
济 中 获得 竞争 优势 ， 见 图 6.7。 
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Put potential to work: 


图 6.7 Informatica 


借助 mnformatica 全 面 、 统 一 、 开 放 且 经 济 的 数据 集成 平台 ， 组 织 可 以 在 改进 数据 质 
量 的 同时 ， 访 问 、 发 现 、 清 洗 、 集 成 并 交付 数据 ， 以 提高 运营 效率 并 降低 运营 成 本 。 
Informatica 平 台 是 一 套 完 善 的 技术 ， 可 支持 多 项 复杂 的 企业 级 数据 集成 计划 ， 包 括 企业 数 
据 集成 、 大 数据 、 数 据 质量 控制 、 主 数据 管理 、B2B DataExchange、 应 用 程序 信息 生命 周 
期 管理 、 复 杂事 件 处 理 、 超 级 消息 和 云 数据 集成 。 

Informatica 于 2005 年 正式 进入 中 国 。 短 短 的 几 年 时 间 ， 和 凭借 全 球 领先 的 技术 和 完善 的 
服务 ，Informatica 很 快 就 在 包括 人 金融、 电信、 制造、 政府、 保险、 公众 服务 等 多 个 领域 获 
得 突破 ， 并 帮助 众多 企业 构架 随时 随地 呈现 正确 而 重要 信息 的 数据 整合 平台 。 

随 着 全 球 信息 化 步伐 的 日 趋 加 快 ， 精 准 的 数据 和 可 用 的 信息 将 在 最 大 程度 上 提高 企业 
IT 投资 回报 率 。 高 速 发 展 中 的 中 国正 在 积极 推进 各 项 信息 整合 工程 及 企业 信息 化 的 投资 建 
设 ，Informatica 把 中 国 列 为 其 全 球 投资 的 最 重要 国家 之 一 。 

在 不 断 拓 展 自身 业务 的 同时 ，Informatica 还 积极 推动 中 国信 息 化 产业 的 发 展 。 通 过 与 
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国内 的 企业 和 合作 伙伴 分 享 国际 领先 的 理念 、 技 术 和 经 验 ， 帮 助 他 们 加 强 信息 化 管理 ， 提 
升 信息 化 水 平 ， 并 最 终 共 同 推进 中 国 的 信息 化 建设 ， 把 中 国 的 信息 化 产业 推 向 国际 市 场 。 

Informatica Enterprise DataIntegration 包 括 Informatica PowerCenter 和 Informatica 
PowerExchange 两 大 产品 ， 凭 借 其 高 性 能 、 可 充分 扩展 的 平台 ， 可 以 为 几乎 所 有 数据 集成 
项 目 和 企业 集成 提供 解决 方案 。 

(1) Informatica PowerCenter 用 于 访问 和 集成 几乎 任何 业务 系统 、 任 何 格式 的 数据 ， 
它 可 以 按 任意 速度 在 企业 内 交付 数据 ， 具 有 高 性 能 、 高 可 扩展 性 、 高 可 用 性 的 特点 。 
Informatica PowerCenter 包 括 4 个 不 同 版 本 ， 即 标准 版 、 实 时 版 、 高 级 版 、 云 计算 版 。 同 
时 ， 它 还 提供 了 多 个 可 选 的 组 件 ， 以 扩展 Informatica PowerCenter 的 核心 数据 集成 功能 ， 这 
些 组 件 包括 数据 清洗 和 匹配 、 数 据 屏蔽 、 数 据 验 证 、Teradata 双 负载 、 企 业 网 格 、 元 数据 
交换 、 下 推 优 化 (Pushdown Optimization) 、 团 队 开 发 和 非 结 构 化 数据 等 。 

(2) Informatica PowerExchange 是 一 系列 的 数据 访问 产品 ， 它 确保 IT 机 构 能 够 根据 需 
要 随时 随地 访问 并 在 整个 企业 内 传递 关键 数据 。 赁 该 能 力 ，IT 机 构 可 以 优化 有 限 的 资源 和 
数据 的 业务 价值 。Informatica PowerExchange 支 持 多 种 不 同 的 数据 源 和 各 类 应 用 ， 包 括 企 
业 应 用 程序 、 数 据 库 和 数据 仓库 、 大 型 机 、 中 型 系统 、 消 息 传递 系统 和 技术 标准 。 

Informatica DataQuality 通 过 一 个 全 面 、 统 一 的 平台 ， 为 所 有 项 目 和 应 用 程序 的 相关 人 
士 、 项 目 和 数据 域 (无论 在 内 部 预 置 ， 还 是 在 云 中 ) ， 提 供 普遍 深入 的 数据 质量 控制 。 

(1) Informatica DataQuality 结 合 了 强大 的 数据 分 析 、 清 洗 、 匹 配 、 报 告 、 监 控 能 力 
和 易于 使 用 的 界面 ， 使 业务 信息 所 有 者 能 够 在 整个 企业 范围 内 实施 和 管理 数据 质量 计划 。 

(2) Informatica DataQuality Cloud Edition 〈 云 计算 版 ) 将 普遍 数据 质量 的 功效 和 功 
能 与 最 新 云 计算 平台 的 灵活 性 、 易 用 性 和 经 济 性 相 结合 ， 向 所 有 相关 人 士 、 项 目 和 数据 域 
交付 数据 质量 。 

(3) Informatica Identity Resolution 是 一 款 功 能 强大 且 高 度 可 扩展 的 身份 识别 解决 方 
案 ， 让 企业 和 政府 机 构 能 够 批量 且 实 时 地 搜索 和 匹配 来 自 超过 60 种 语言 的 身份 数据 。 

(4) Informatica DataExplorer 通 过 强大 的 数据 探查 、 数 据 映射 能 力 和 前 所 未 有 的 易 用 
性 的 完美 组 合 ， 让 用 户 能 轻松 发 现 、 监 控 数 据 质 量 问题 。 

(5) Address Doctor 为 全 球 200 多 个 国家 和 地 区 提供 全 球 地 址 验证 技术 ， 其 功能 包括 
对 多 级 地 址 〈 如 街道 级 别 ) 的 支持 ， 以 及 交付 点 验证 和 地 理 编 码 。 

Informatica Cloud 提 供 了 面向 数据 集成 云 应 用 ， 确 保 企 业 用 户 能 够 跨 基 于 云 的 应 用 程 
序 和 预 置 系统 及 数据 库 来 集成 数据 。Informatica Cloud 利 用 底层 的 PowerCenter 数 据 集成 引 
擎 ， 包 括 在 线 注 册 、 用 户 和 任务 流 管理 、 工 作 调 度 和 监控 、 错 误 处 理 、 压 缩 、 加 密 和 安全 
代理 功能 ， 来 访问 和 和 集成 预 置 数 据 源 和 云 数 据 。 借 助 Informatica Cloud， 客 户 与 合作 伙伴 
可 以 在 云 中 构建 、 管 理 和 共享 定制 的 数据 集成 服务 。 

Informatica B2B DataExchange 是 一 款 业 界 领先 的 工具 ， 用 于 多 企业 的 数据 集成 。 它 增 
加 了 安全 通信 、 管 理 和 监控 功能 ， 来 处 理 来 自 内 部 和 外 部 的 数据 。 
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(1) Informatica B2B DataExchange 为 多 企业 数据 集成 、 合 作 伙 伴 管理 以 及 业务 事件 
监控 提供 了 一 个 全 面 的 技术 基础 设施 。 它 能 帮助 企业 有 效 且 经 济 高 效 地 与 其 贸易 合作 伙伴 
和 客户 所 组 成 的 外 延 网 络 进行 协作 ， 从 而 帮助 企业 降低 成 本 ， 保 持 并 增加 收入 。 

(2) Informatica B2B DataTransformation 是 一 款 高 性 能 软件 ， 可 以 将 数据 在 结构 化 、 
非 结构 化 格式 与 更 常用 的 数据 格式 之 间 进 行 转换 ， 来 支持 企业 与 企业 (B2B) 以 及 多 企业 
的 事务 。 这 种 统一 的 无 代码 环境 支持 几乎 任意 形式 的 数据 转换 ， 并 且 可 供 组 织 内 多 个 业务 
级 别 的 人 员 《〈 分 析 师 、 开 发 人 员 和 程序 员 等 ) 进行 访问 。 

Informatica Master DataManagement 通 过 提供 整合 且 可 靠 的 关键 业务 数据 ， 帮 助 企 业 用 
户 来 改善 业务 运营 。 它 能 够 以 独特 方式 识别 所 有 关键 业务 主 数据 以 及 它们 之 间 的 关系 ， 通 
过 多 域 主 数据 管理 ， 使 客户 能 够 从 小 规模 起 步 ， 随 着 需求 的 增长 进行 扩展 ， 并 且 可 在 同一 
平台 上 支持 所 有 的 MDM 要 求 一 一 数据 集成 、 探 查 、 质 量 和 主 数 据 管 理 。 

Informatica MDM 业 经 证 明和 灵活 的 主 数据 模型 、 解 决 方案 框架 ， 以 及 统一 的 产品 架 
构 最 大 限度 地 降低 了 前 期 采用 和 实施 成 本 ， 使 用 户 可 以 随 着 时 间 的 推移 来 管理 和 逐步 扩展 
MDM 计 划 。 

Informatica Application ILM 系 列 产品 旨 在 帮助 IT 部 门 管理 数据 生命 周期 中 从 开发 、 测 
试 到 存档 、 淘 汰 的 各 个 阶段 ， 同 时 保护 数据 的 隐私 。 

(1) Informatica Data Archive 是 一 款 高 度 可 扩展 的 高 性 能 软件 ， 可 以 帮助 IT 部 门 经 济 
高 效 地 管理 众多 企业 业务 应 用 中 数据 的 增长 。 该 软件 使 IT 团队 可 以 轻松 、 安 全 地 对 应 用 程 
序数 据 进行 归档 ， 包 括 主 数据 、 参 考 数据 和 事务 数据 ， 并 可 根据 需要 随时 对 其 进行 访问 。 

(2) Informatica Data Masking 是 一 款 全 面 、 灵 活 且 可 扩展 的 软件 ， 用 于 管理 对 如 信用 
卡 信息 、 社 会 保险 号 、 姓 名 、 地 址 和 电话 号 码 等 敏感 数据 的 访问 。 该 软件 可 以 防止 机 密 信 
息 被 无 意 中 暴露 ， 降 低 数据 外 泄 的 风险 。 

(3) Informatica Data Subset 是 一 款 灵 活 的 企业 软件 ， 可 以 自动 完成 将 大 型 复杂 数据 
库 创 建 为 较 小 的 目标 数据 库 的 任务 。 通 过 完整 引用 的 小 型 生产 数据 目标 副本 ，IT 机 构 可 以 
大 幅 缩减 支持 测试 环境 所 需 的 时 间 、 工 作 量 和 磁盘 空间 。 

Informatica Complex Event Processing 使 企业 能 够 迅速 地 对 数据 驱动 型 事件 进行 探测 、 
关联 、 分 析 和 响应 。 和 凭借 CEP 与 数据 集成 的 结合 ， 企 业 将 具有 更 出 色 的 响应 性 、 适 应 性 和 

Informatica Rule Point 是 一 款 CEP 软 件 ， 可 帮助 各 种 规模 的 企业 和 政府 机 构 获 得 运营 
智能 一 一 实时 警报 和 深入 了 解 相 关 信息 ， 从 而 实现 更 智能 、 更 快 、 更 高 效 和 更 有 竞争 力 
的 运营 。 

Informatica Ultra Messaging 产 品 使 用 “无 中 介 ” (Nothing In The Middle) 架构 而 设 
计 ， 该 架构 消除 了 对 后 台 程序 或 消息 代理 的 需要 。 该 设计 实现 了 超 低 延 迟 信息 和 高 效 的 系 
统 ， 降 低 了 硬件 基础 设施 的 成 本 ， 同 时 提高 了 吞吐 量 、 弹 性 和 可 用 性 。 

(1) Informatica Ultra Messaging Streaming Edition 是 业界 第 一 款 采用 “无 中 介 ” 设 计 
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的 消息 系统 。 它 是 市 场 中 领先 的 低 延 迟 消息 软件 ， 也 是 一 款 高 效 、 可 配置 、 可 靠 且 得 到 广 
泛 部 署 的 消息 传送 解决 方案 。 

(2) Informatica Ultra Messaging Persistence Edition 通 过 创新 的 并 行 架构 提供 了 高 质量 
的 消息 送 达 方 式 ， 无 须 使 用 中 央 消 息 代 理 ， 消 除了 对 存储 一 转发 架构 的 需要 ， 同 时 提供 了 
传统 消息 系统 所 无 法 企及 的 弹性 和 性 能 。 

(3) Informatica Ultra Messaging Queuing Edition 扩 展 了 Ultra Messaging 的 功能 ， 包 括 
了 高 效 、 低 延迟 、 具 有 弹性 的 消息 队列 功能 。 对 于 希望 实现 “一 次 且 仅 有 一 次 ”的 消息 交 
付 ， 低 延迟 负载 平衡 或 智能 索引 队列 的 客户 ，Informatica Ultra Messaging Queuing Edition 
将 是 其 首选 的 消息 传送 产品 。 

Informatica 动 态 数据 脱 敏 产品 是 一 个 为 企业 级 客户 设计 的 应 用 程序 和 数据 库 供 应 商 混 
合 解决 方案 。Informatica DDM 可 在 短 短 5 分 钟 内 完成 安装 和 配置 ， 并 与 常用 的 企业 业务 
应 用 程序 天 衣 无 颖 地 集成 ， 其 中 包括 Siebel、PeopleSoft、SAP、Oracle Apps ERP Suite、 
Clarify、Cognos 及 其 他 多 种 程序 。 

Informatica 采 用 的 数据 脱 敏 方法 基于 终端 用 户 的 网 络 权限 实时 进行 ， 与 现 有 的 Active 
Directory、DAP 和 Identity Access Management 软 件 配合 无 间 ， 确 保 每 名 用 户 的 个 人 网 络 登 
录 均 会 针对 该 用 户 有 权 访问 的 信息 类 型 ， 触 发 响应 的 数据 脱 敏 规则 。 这 一 验证 流程 能 够 随 
着 终端 用 户 数量 的 增长 ， 轻 松 地 扩展 至 额外 的 数据 库 中 ， 所 造成 的 延 时 仅 为 0.1Sms， 几 乎 
不 对 网 络 资源 产生 任何 可 觉察 的 影响 。 

此 外 ，Informatica DDM 还 具备 针对 终端 用 户 等 级 的 访问 进行 监控 、 登 录 、 报 告 和 创 
建 审计 跟踪 的 功能 。 该 功能 可 简化 遵守 数据 隐私 法 规 和 内 部 报告 需求 的 流程 ， 同 时 显著 降 
低 数 据 受 侵害 的 风险 。 


6.3.2 HBase 


HBase 是 一 个 分 布 式 的 、 面 向 列 的 开源 数据 库 ， 该 技术 来 源 于 FayChang 所 撰写 的 
Google 论 文 《Bigtable: 一 个 结构 化 数据 的 分 布 式 存储 系统 》。 就 像 Bigtable 利 用 了 Google 
文件 系统 (file system) 所 提供 的 分 布 式 数据 存储 一 样 ，HBase 在 Hadoop 之 上 提供 了 类 似 
于 Bigtable 的 能 力 。HBase 是 Apache 的 Hadoop 项 目的 子 项 目 。HBase 不 同 于 一 般 的 关系 数据 
库 ， 它 是 一 个 适合 于 非 结构 化 数据 存储 的 数据 库 ， 另 一 个 不 同 之 处 是 HBase 基 于 列 而 不 是 
基于 行 模式 。 

HBase-Hadoop Database， 是 一 个 高 可 靠 性 、 高 性 能 、 面 向 列 、 可 伸缩 的 分 布 式 存储 系 
统 ， 利 用 HBase 技 术 可 在 廉价 PC Server 上 搭建 起 大 规模 结构 化 存储 集群 。 

与 Fujitsu Cliq 等 商用 大 数据 产品 不 同 ，HBase 是 Google Bigtable 的 开源 实现 ， 类 似 于 
Google Bigtable 利 用 GFS 作 为 其 文件 存储 系统 ，HBase 利 用 的 是 Hadoop HDFS 作 为 其 文件 
存储 系统 :Google 运行 MapReduce 来 处 理 Bigtable 中 的 海量 数据 ，HBase 同 样 利用 Hadoop 
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MapReduce 来 处 理 HBase 中 的 海量 数据 ;Google Bigtable 利 用 Chubby 作 为 协同 服务 ，HBase 
则 利用 ZooKeeper 作 为 对 应 。 

在 HBase 系 统 上 运行 批 处 理 运 算 ， 最 方便 和 实用 的 模型 依然 是 MapReduce。 

HBase Table 和 Region 的 关系 ， 比 较 类 似 于 HDFS File 和 Block 的 关系 ，HBase 提 供 了 配 
套 的 Table Input Format 和 Table Output Format API， 可 以 方便 地 将 HBase Table 作 为 Hadoop 
MapReduce 的 Source 和 Sink， 对 于 MapReduce Job 应 用 开发 人 员 来 说 ， 基 本 不 需要 关注 
HBase 系 统 自身 的 细节 。 

HBase Client 使 用 HBase 的 RPC 机 制 与 HMaster 和 HRegion Server 进 行 通信 ， 对 于 管理 
类 操作 ，Client 与 HMaster 进 行 RPC; 对 于 数据 读 写 类 操作 ，Client 与 HRegion Server 进 行 
RPC。 

HBase 中 的 所 有 数据 文件 都 存储 在 Hadoop HDFS 文 件 系统 中 ， 主 要 包括 HFile 和 
HLogFile 两 种 文件 类 型 。 

(1) HFile: HBase 中 KeyValue 数 据 的 存储 格式 。HFile 是 Hadoop 的 二 进 制 格式 文件 ， 
实际 上 StoreFile 就 是 对 HFile 做 了 轻 量 级 包装 ， 即 StoreFile 底 层 就 是 HFile。 

(2) HLogFile: HBase 中 WAL (Write Ahead Log) 的 存储 格式 ， 物 理 上 是 Hadoop 的 
SequenceFile。 

HFile 文 件 是 不 定 长 的 ， 长 度 固定 的 只 有 其 中 的 两 块 ，Trailer 和 FileInfo。Trailer 中 有 
指针 指向 其 他 数据 块 的 起 始点 。FileInfo 中 记录 了 文件 的 一 些 Meta 信 息 ， 例 如 AVG_KEY_ 
LEN, AVG VALUE LEN, LAST KEY, COMPARATOR, MAX SEQ ID KEY 等 。 
DataIndex 和 MetaIndex 块 记录 了 每 个 Data 块 和 Meta 块 的 起 始点 。 

DataBlock 是 HBase 1/O 的 基本 单元 ， 为 了 提高 效率 ，HRegionServer 中 有 基于 LRU 的 
BlockCache 机 制 。 每 个 Data 块 的 大 小 可 以 在 创建 一 个 Table 时 通过 参数 指定 ， 大 号 的 Block 
有 利于 顺序 Scan， 小 号 Block 有 利于 随机 查询 。 每 个 Data 块 除了 开头 的 Magic 以 外 就 是 一 个 
个 KeyValue 对 拼接 而 成 ，Magic 内 容 就 是 一 些 随机 数字 ， 目 的 是 防止 数据 损坏 。 

HFile 里 面 的 每 个 KeyValue 对 就 是 一 个 简单 的 byte 数 组 。 但 是 这 个 byte 数 组 里 面包 含 了 
很 多 项 ， 并 且 有 固定 的 结构 。 其 具体 结构 如 下 : 

KeyValue 对 的 开始 是 两 个 固定 长 度 的 数值 ， 分 别 表示 Key 的 长 度 和 Value 的 长 度 ， 紧 接 
着 是 Key， 开 始 是 固定 长 度 的 数值 ， 表 示 RowKey 的 长 度 ， 接 下 来 是 RowKey， 然 后 是 固定 
长 度 的 数值 ， 表 示 Family 的 长 度 ， 再 后 是 Family， 接 着 是 Qualifier， 最 后 是 两 个 固定 长 度 
的 数值 ， 表 示 time stamp 和 KeyType (PutDelete) 。Value 部 分 没有 这 么 复杂 的 结构 ， 就 是 
纯粹 的 二 进 制 数 据 了 。 

HLog 文 件 就 是 一 个 普通 的 Hadoop Sequence File，Sequence File 的 Key 是 HLogKey 
对 象 ，HLogKey 中 记录 了 写 入 数据 的 归属 信息 ， 除 了 table 和 region 名 字 外 ， 同 时 还 包括 
sequence number 和 time stamp，time stamp 是 “ 写 入 时 间 ”; sequence number 的 起 始 值 为 0， 
或 者 是 最 近 一 次 存 入 文件 系统 中 的 sequence number。 
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6.3.3 Tableau 


Tableau 公 司 将 数据 运算 与 美观 的 图 表 完美 地 嫁接 在 一 起 。 它 的 程序 很 容易 上 手 ， 各 
公司 可 以 用 它 将 大 量 数据 拖 放 到 数字 “画布 ”上 ， 转 眼 间 就 能 创建 好 各 种 图 表 。 这 一 软件 
的 理念 是 ， 界 面 上 的 数据 越 容易 操控 ， 公 司 对 自己 在 所 在 业务 领域 里 的 所 作 所 为 到 底 是 正 
确 还 是 错误 ， 就 能 了 解 得 越 透彻 。 

Tableau 是 利用 计算 机 图 形 学 和 图 像 处 理 技术 ， 将 数据 转换 成 图 形 或 将 图 像 在 屏幕 上 
显示 出 来 ， 并 进行 交互 处 理 的 理论 、 方 法 和 技术 。 它 涉及 计算 机 图 形 学 、 图 像 处 理 、 计 算 
机 视觉 、 计 算 机 辅助 设计 等 多 个 领域 ， 成 为 研究 数据 表示 、 数 据 处 理 、 决 策 分 析 等 一 系列 
问题 的 综合 技术 。 

Tableau 是 桌面 系统 中 最 简单 的 商业 智能 工具 软件 ，Tableau 没 有 强迫 用 户 编写 自 定义 
代码 ， 新 的 控制 台 也 可 完全 自 定义 配置 。 在 控制 台 上 ， 不 仅 能 够 监测 信息 ， 而 且 还 提供 完 
0 Tableau 控 制 台 灵活 ， 具 有 高 度 的 动态 性 。 

志 管 理工 具 Splunk， 工 作 界 面 如 图 6.8 所 示 。 


Energy Intelligence on AWS 


EnerNOC accelerates DevOps and streamlines IT Ops with Splunk 


图 6.8 ”Splunk 的 工作 界面 


日 志 管 理工 具 Splunk 面 向 的 使 用 人 群 如 图 6. 9 所 示 。 
| 管理 者 查阅 生成 的 报表 和 仪表 盘 报 告 ， 分 析 决 策 ， 总 结 系统 的 业务 模 
块 和 运 维 模式 ， 进 行 决策 ， 从 而 可 以 指导 各 个 部 门 的 工作 和 计划 。 


检查 监控 和 管理 网 络 设备 、 服 务 器 设备 、 系 统 和 数据 信息 中 心 
以 及 业务 中 心 的 各 项 指标 和 性 能 ， 可 以 实现 远程 的 运 维 管理 。 

针对 系统 出 现 的 系统 错误 、 负 载 均衡 、 性 能 指标 进行 监控 管理 
面向 的 使 用 人 员 >| 系统 管理 员 | 和 和 按 需 进行 相关 的 预警 ， 保 证 系统 的 安全 性 和 可 用 性 。 
监控 管理 网 络 线路 、 机 房 、 网 络 平台 的 工作 状态 ， 从 而 确保 网 
络 传输 层 和 相关 联 的 硬件 基础 设施 可 以 正常 运行 ， 
通过 监控 业务 节点 的 工作 状态 和 运行 详细 事宜 ， 明 确 业 务 的 发 
展 趋势 和 方向 ， 从 而 可 以 更 好 地 对 后 期 的 业务 进行 规划 和 部 团 。 
图 6.9 Splunk 面 向 的 使 用 人 群 


站 IT 运 维 人 员 


Ha 网 络 工程 师 


-让 业务 人 员 
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Splunk 的 功能 组 件 主要 有 Forwarder、SerchHead、Indexer 这 3 种 ， 支 持 查 询 搜索 、 仪 
表盘 和 报表 ， 以 及 SaaS 服 务 模式 。 其 中 ，Splunk 支 持 的 数据 源 〈 见 图 6.10) 也 是 多 种 类 型 
的 ， 基 本 可 以 满足 用 户 的 需求 。 


国 结构 化 数据 器 MICROSOFT 基 础 架构 “人 @ 网 络 和 安全 
CSV Exchange Syslog & SNMP 
JSON Active Directory Cisco 设 备 
XML Sharepoint Snort 

(gs) Web 服 务 目 数据 库 服务 云 
Apache Oracle AWS Cloudtrail 
JS MySQL Amazon S3 

Microsoft SQL Server Azure 

妇 TT 运 维 加 虚拟 化 乡 应 用 程序 服务 
Nahios VMWare JIMX & JMS 
NetApp Xen Desktop WebLogic 
Cisco UUS XenApp WebSphere 

Hyper-V Tomcat 
JBOSS 


图 6.10 ”Splunk 支 持 的 数据 源 
Splunk 目 前 支持 Hadoop 1.x (MRv1) 、Hadoop 2.x (MRv2) 、Hadoop 2.x (Yarm) 3 
个 版 本 的 Hadoop 集 群 的 日 志 数 据 源 收集 ， 在 日 志 管 理 运 维 方面 处 于 国际 领先 地 位 ， 目 前 
国内 部 分 数据 驱动 型 公司 也 正在 采用 Splunk 的 日 志 管 理 运 维 服务 。 
Spunk 日 志 智能 分 析 管理 系统 示意 图 如 图 6.11 所 示 。 


图 6.11 Splunk 日 志 智能 分 析 管 理 示意 图 


6.3.4 _ MySQL 


MySQL 是 一 个 关系 型 数据 库 管理 系统 ， 由 瑞典 MySQLAB 公 司 开发 ， 目 前 属于 Oracle 旗 
下 产品 。MySQL 是 最 流行 的 关系 型 数据 库 管 理 系 统 之 一 ， 在 Web 应 用 方面 ，MySQL 是 最 好 
的 关系 数据 库 管 理 系统 (Relational Database Management System，RDBMS) 应 用 软件 。 
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MySQL 关 系数 据 库 将 数据 保存 在 不 同 的 表 中 ， 而 不 是 将 所 有 数据 放 在 一 个 大 仓库 
内 ， 这 样 就 增加 了 处 理 速 度 并 提高 了 灵活 性 。 

MySQL 所 使 用 的 SQL 语 言 是 用 于 访问 数据 库 的 最 常用 标准 化 语言 。MySQL 软 件 采用 
了 双 授 权 政 策 ， 分 为 社区 版 和 商业 版 ， 由 于 其 体积 小 、 速 度 快 、 总 体 拥有 成 本 低 ， 尤 其 是 
开放 源码 这 一 特点 ， 因 此 一 般 中 小 型 网 站 的 开发 都 选择 MySQL 作 为 网 站 数据 库 。 

与 其 他 的 大 型 数据 库 如 Oracle、DB2、SQL Server 等 相 比 ，MySQL 自 有 它 的 不 足 之 
处 ， 但 是 这 丝毫 也 没有 减少 它 受 欢迎 的 程度 。 对 于 一 般 的 个 人 使 用 者 和 中 小 型 企业 来 说 ， 
MySQL 提 供 的 功能 已 经 绰绰有余 ， 而 且 由 于 MySQL 是 开放 源码 的 软件 ， 因 此 可 以 大 大 降 
低 总 体 拥 有 成 本 。 

对 于 个 人 或 中 小 型 企业 ， 使 用 Linux 作 为 操作 系统 ，Apache 或 Nginx 作 为 Web 服 务 器 ， 
MySQL 作 为 数据 库 ，PHP/PerlPython 作 为 服务 器 端 脚本 解释 器 。 由 于 这 四 个 软件 都 是 免费 
或 开放 源码 软件 (FLOSS) ， 因 此 使 用 这 种 方式 不 用 花 一 分 钱 〈 除 了 人 工 成 本 ) 就 可 以 建 
立 起 一 个 稳定 、 免 费 的 网 站 系统 ， 被 业界 称 为 “LAMP” 或 “LNMP” 组 合 。 


6.3.5 Hadoop 


Hadoop 是 一 个 由 Apache 基 金 会 开发 的 分 布 式 系统 基础 架构 。 

用 户 可 以 在 不 了 解 分 布 式 底层 细节 的 情况 下 ， 开 发 分 布 式 程序 。 充 分 利用 集群 的 威力 
进行 高 速 运算 和 存储 。 

Hadoop 实 现 了 一 个 分 布 式 文件 系统 (Hadoop Distributed File System，HDFS) 。 
HDFS 有 高 容错 性 的 特点 ， 并 且 设 计 用 来 部 署 在 低廉 的 (low-cost) 硬件 上 ; 而 且 它 提供 
高 吞吐 量 (High Throughput) 来 访问 应 用 程序 的 数据 ， 适 合 那些 有 着 超大 数据 集 
(Large Dataset) 的 应 用 程序 。HDFS 放 宽 了 〈Relax) POSIX 的 要 求 ， 可 以 流 的 形式 访问 
(Streaming Access) 文件 系统 中 的 数据 。 

Hadoop 的 框架 最 核心 的 设计 就 是 HDFS 和 MapReduce。HDFS 用 于 海量 数据 的 存储 ， 
MapReduce 用 于 海量 数据 的 计算 。 

Hadoop 原 本 来 自 于 谷歌 一 款 名 为 MapReduce 的 编程 模型 包 。 谷 歌 的 MapReduce 框 架 可 
以 把 一 个 应 用 程序 分 解 为 许多 并 行 计算 指令 ， 跨 大 量 的 计算 节点 运行 非常 巨大 的 数据 集 。 
使 用 该 框架 的 一 个 典型 例子 就 是 在 网 络 数据 上 运行 的 搜索 算法 。 

Hadoop 最 初 只 与 网 页 索引 有 关 ， 迅 速 发 展 成 为 分 析 大 数据 的 领先 平台 。 目 前 有 很 多 
公司 开始 提供 基于 Hadoop 的 商业 软件 、 支 持 、 服 务 以 及 培训 。Cloudera 是 一 家 美国 的 企业 
软件 公司 ， 该 公司 在 2008 年 开始 提供 基于 Hadoop 的 软件 和 服务 。GoGrid 是 一 家 云 计算 基 
础 设施 公司 ， 在 2012 年 ， 该 公司 与 Cloudera 合 作 加 速 了 企业 采纳 基于 Hadoop 应 用 的 步伐 。 
Dataguise 公 司 是 一 家 数据 安全 公司 ， 同 样 在 2012 年 该 公司 推出 了 一 款 针对 Hadoop 的 数据 
保护 和 风险 评估 的 产品 。 
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Hadoop 是 最 受 欢迎 的 在 Internet 上 对 搜索 关键 字 进行 内 容 分 类 的 工具 ， 但 它 也 可 以 解 
决 许多 要 求 极 大 伸缩 性 的 问题 。 例 如 ， 如 果 要 操作 一 个 10TB 的 巨型 文件 ， 会 出 现 什么 情 
况 ? 在 传统 的 系统 上 ， 这 将 需要 很 长 的 时 间 ， 但 是 Hadoop 在 设计 时 就 考虑 到 这 些 问题 ， 
采用 并 行 执行 机 制 ， 因 此 能 大 大 提高 效率 。 

Hadoop 是 一 个 能 够 对 大 量 数据 进行 分 布 式 处 理 的 软件 框架 ， 它 以 一 种 可 靠 、 高 效 、 
可 伸缩 的 方式 进行 数据 处 理 。 

Hadoop 是 可 靠 的 ， 它 假设 计算 元 素 和 存储 会 失败 ， 因 此 它 会 维护 多 个 工作 数据 副 
本 ， 以 确保 能 够 针对 失败 的 节点 重新 分 布 处 理 。 

Hadoop 是 高 效 的 ， 因 为 它 以 并 行 的 方式 工作 ， 通 过 并 行 处 理 加 快 处 理 速度 。 

Hadoop 还 是 可 伸缩 的 ， 能 够 处 理 PB 级 数据 。 

此 外 ，Hadoop 依 赖 于 社区 服务 ， 因 此 它 的 成 本 比较 低 ， 任 何人 都 可 以 使 用 。 

Hadoop 是 一 个 能 够 让 用 户 轻 松 架构 和 使 用 的 分 布 式 计算 平台 ， 用 户 可 以 轻松 地 在 
Hadoop 上 开发 和 运行 处 理 海量 数据 的 应 用 程序 。 它 主要 有 以 下 5 个 优点 。 

(1) 高 可 靠 性 。Hadoop 按 位 存储 和 处 理 数据 的 能 力 值得 人 们 信赖 。 

(2) 高 扩展 性 。Hadoop 是 在 可 用 的 计算 机 集 簇 间 分 配 数 据 并 完成 计算 任务 的 ， 这 些 
集 簇 可 以 方便 地 扩展 到 数 以 千 计 的 节点 中 。 

(3) 高 效 性 。Hadoop 能 够 在 节点 之 间 动 态 地 移动 数据 ， 并 保证 各 个 节点 的 动态 平 
衡 ， 因 此 处 理 速 度 非常 快 。 

(4) 高 容错 性 。Hadoop 能 够 自动 保存 数据 的 多 个 副本 ， 并 且 能 够 自动 将 失败 的 任务 
重新 分 配 。 

(5) 低 成 本 。 与 一 体 机 、 商 用 数据 仓库 以 及 QlikView、Yonghong Z-Suite 等 数据 集 市 
相 比 ，hadoop 是 开源 的 ， 项 目的 软件 成 本 由 此 会 大 大 降低 。 

Hadoop 带 有 用 Java 语 言 编写 的 框架 ， 因 此 运行 在 Linux 生 产 平台 上 是 非常 理想 的 。 
Hadoop 上 的 应 用 程序 也 可 以 使 用 其 他 语言 编写 ， 比 如 C++。 

Hadoop 得 以 在 大 数据 处 理应 用 中 广泛 应 用 得 益 于 其 自身 在 数据 提取 、 变 形 和 加 载 
(ETL) 方面 的 天 然 优 势 。Hadoop 的 分 布 式 架构 将 大 数据 处 理 引擎 尽 可 能 地 靠近 存储 ， 对 
像 ETL 这 样 的 批 处 理 操作 相对 合适 ， 因 为 类 似 这 样 操作 的 批 处 理 结果 可 以 直接 走向 存储 。 
Hadoop 的 MapReduce 功 能 实现 了 将 单个 任务 打 碎 ， 并 将 碎片 任务 (Map) 发 送 到 多 个 节点 
上 ， 之 后 再 以 单个 数据 集 的 形式 加 载 (Reduce) 到 数据 仓库 里 。 


6.4 数据 模式 的 分 析 方 式 


数据 分 析 挖 掘 就 是 从 大 量 的 数据 中 通过 算法 搜索 隐藏 于 其 中 的 信息 的 过 程 。 因 此 使 


基于 大 数据 的 智慧 电网 技术 


用 什么 算法 就 显得 尤为 重要 ， 国 际 权威 的 学 术 组 织 (The IEEE International Conferenceon 
Data MiningICDM) 于 2006 年 12 月 评选 出 了 数据 挖掘 领域 的 十 大 经 典 算 法 ， 如 表 6.1 所 示 。 
当然 ， 不 仅仅 是 选中 的 十 大 算法 ， 其 实 参加 评选 的 18 种 算法 都 可 以 称 得 上 经 典 算法 ， 它 们 
在 数据 挖掘 领域 都 产生 了 极为 深远 的 影响 ， 如 表 6.1 所 示 。 

表 6.1 和 


| 发 表 时 间 | 作者 | 讲解 人 | 


分 类 1993 


Quinlan, JR 


Hiroshi Motoda 


聚 类 1967 


MacQueen，JB 


Joydeep Ghosh 


统计 学 习 1995 


Vapnik，VN 


Qiang Yang 


1994 


Rakesh Agrawal 


Christos Faloutsos 


统计 学 习 2000 


McLachian, G 


Joydeep Ghosh 


2 
3 
4 | 关联 分 析 
5 
6 


链接 挖掘 | PageRank 匠 届 1998 Brin，S Christos Faloutsos 
7 “| 集 装 与 推进 | AdaBoost | 4 | Freund, Y Zhi-hua Zhou 
8 分 类 kNN | 1996 | Hastie, T Vpin Kumar 


9 分 类 Naive Bayes Hand, D.J Qiang Yang 
10 分 类 CART 1984 LBreiman Dan Stenbarg 


由 于 数据 挖掘 领域 的 主题 和 方向 很 多 ， 这 里 就 着 重 讲 关联 规则 的 Apriori 算 法 。 

所 谓 关 联 规则 挖掘 就 是 从 事务 数据 库 、 关 系数 据 库 或 数据 仓库 等 海量 数据 的 项 集 之 间 
发 现 有 价值 的 频繁 出 现 的 模式 关联 和 相关 性 ， 通 过 预先 设 定 的 支持 度 和 可 信 度 ， 通 过 特定 
的 数据 挖掘 算法 获得 支持 度 和 可 信 度 均 较 高 的 关联 规则 ， 得 到 用 户 感 兴趣 、 有 价值 的 关联 
规则 并 应 用 到 实际 工作 中 ， 真 正 实现 从 数据 到 信息 、 再 到 知识 的 迁移 过 程 。 

关联 规则 数据 挖掘 的 过 程 大 体 分 为 两 步 ， 第 一 步 是 从 全 部 项 集中 寻找 出 所 有 频繁 项 
集 ， 第 二 步 是 由 频繁 项 集 获 取 关 联 规则 。 由 于 第 二 步 较为 容易 和 直观 ， 所 以 第 一 步 是 核心 
步骤 ， 其 中 最 经 典 的 算法 就 是 Apriori 算 法 。 

要 理解 Apriori 算 法 ， 首 先 要 理解 几 个 概念 和 定义 。 

支持 度 : 定义 为 supp (x) =occur (x) /count (D) 。 

解释 : 假设 在 100 个 去 超市 买 东西 的 人 里 面 ， 有 9 个 人 买 了 苹果 ， 那 么 苹果 的 支持 度 就 
是 9，9/100《〈 关 联 规则 中 有 绝对 支持 度 和 相对 支持 度 ) 。 

置信 度 : 定义 为 conf (x 一 y) =supp (xandy) /supp (x) 。 

解释 : 在 历史 数据 中 ， 已 经 买 了 某 某 (例如 4 和 B)》 的 支持 度 和 经 过 挖 抉 的 某 规则 
(例如 4 一 B) 中 4 的 支持 度 的 比例 。 也 就 是 说 买 了 4 和 8B 的 人 和 已 经 买 了 4 的 人 的 比例 ， 这 
就 是 4 推荐 B 的 置信 度 。 

候选 集 : 通过 向 下 合并 的 项 集 。 

频繁 集 ; 支持 度 大 于 设 定 的 最 小 支持 度 的 项 集 。 

剪 枝 ， 只 有 当 子 集 都 是 频繁 集 的 候选 集 才 是 频繁 集 ， 这 个 过 程 就 是 剪 枝 。 

提升 度 (Lift) : 提升 度 是 可 信 度 与 期 望 可 信 度 的 比值 。 
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lft AD ft (FN) -conf HD) fsupp (PD <conf (7—D fsupp CD P Xand D1 
(PDE (NY, 

经 过 关联 规则 分 析 后 ， 针 对 某 些 人 推销 (根据 某 规 则 〉 比 盲目 推销 一般 来 说 是 整个 
数据 ) 的 比率 ， 这 个 比率 越 高 越 好 ， 我 们 称 这 个 规则 为 强 规则 。 


1. 常用 数据 分 析 方法 


1) 聚 类 分 析 

聚 类 分 析 (Cluster Analysis) 指 将 物理 或 抽象 对 象 的 集合 分 组 成 为 由 类 似 的 对 象 组 成 
的 多 个 类 的 分 析 过 程 。 聚 类 是 将 数据 分 类 到 不 同 的 类 或 者 簇 的 过 程 ， 所 以 同一 个 簇 中 的 对 
象 有 很 大 的 相似 性 ， 而 不 同 簇 间 的 对 象 有 很 大 的 相 异 性 。 聚 类 分 析 是 一 种 探索 性 的 分 析 ， 
在 分 类 的 过 程 中 ， 人 们 不 必 事 先 给 出 一 个 分 类 的 标准 ， 聚 类 分 析 能 够 从 样本 数据 出 发 ， 自 
动 进 行 分 类 。 聚 类 分 析 使 用 的 方法 不 同 ， 常 常会 得 到 不 同 的 结论 。 不 同 研究 者 对 于 同一 组 
数据 进行 聚 类 分 析 ， 得 到 的 聚 类 数 未 必 一 致 。 

2) 因子 分 析 

因子 分 析 (Factor Analysis) 是 指 研究 从 变量 群 中 提取 共性 因子 的 统计 技术 。 因 子 分 
析 就 是 从 大 量 的 数据 中 寻找 内 在 的 联系 ， 减 少 决策 的 困难 。 因 子 分 析 的 方法 约 有 10 多 种 ， 
如 重心 法 、 影 像 分 析 法 、 最 大 似 然 解 、 最 小 平方 法 、 阿 尔 发 抽 因 法 、 拉 奥 典 型 抽 因 法 等 。 
这 些 方法 本 质 上 大 都 属于 近似 方法 ， 是 以 相关 系数 矩阵 为 基础 的 ， 所 不 同 的 是 相关 系数 矩 
阵 对 角 线 上 的 值 ， 采 用 不 同 的 共同 性 及 估 值 。 在 社会 学 研究 中 ， 因 子 分 析 常 采用 以 主 成 分 
分 析 为 基础 的 反覆 法 。 

3) 相关 分 析 

相关 分 析 (Correlation Analysis) 是 研究 现象 之 间 是 否 存在 某 种 依存 关系 ， 并 对 具体 
有 依存 关系 的 现象 探讨 其 相关 方向 以 及 相关 程度 的 方法 。 相 关 关 系 是 一 种 非 确定 性 的 关 
系 ， 例 如 ， 以 X 和 了 分 别 记 一 个 人 的 身高 和 体重 ， 或 分 别 记 每 公顷 施肥 量 与 每 公顷 小 麦 产 
量 ， 则 X 与 7 显然 有 关系 ， 而 又 没有 确切 到 可 由 其 中 的 一 个 去 精确 地 决定 另 一 个 的 程度 ， 
这 就 是 相关 关系 。 

4) 对 应 分 析 

对 应 分 析 (Correspondence Analysis) 也 称 关 联 分 析 、R-Q 型 因子 分 析 ， 通 过 分 析 由 定 
性 变量 构成 的 交互 汇总 表 来 揭示 变量 间 的 联系 。 该 方法 可 以 揭示 同一 变量 的 各 个 类 别 之 间 
的 差异 ， 以 及 不 同 变量 各 个 类 别 之 间 的 对 应 关系 。 对 应 分 析 的 基本 思想 是 将 一 个 联 列表 的 
行 和 列 中 各 元 素 的 比例 结构 以 点 的 形式 在 较 低 维 的 空间 中 表示 出 来 。 

5) 回归 分 析 

回归 分 析 (Regression Analysis) 研究 一 个 随机 变量 对 另 一 个 CD 或 一 组 〈 马 ， 马 ，…， 
总 ) 变量 的 相依 关系 的 统计 分 析 方 法 。 它 是 确定 两 种 或 两 种 以 上 变数 间 相互 依赖 的 定量 关 
系 的 一 种 统计 分 析 方法 。 回 归 分 析 运 用 十 分 广泛 ， 按 照 涉 及 自 变 量 的 多 少 ， 可 分 为 一 元 回 
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归 分 析 和 多 元 回归 分 析 ; 按照 自 变量 和 因 变 量 之 间 的 关系 类 型 ， 可 分 为 线性 回归 分 析 和 非 
线性 回归 分 析 。 

6) 方差 分 析 

方差 分 析 (ANOVA/Analysis of Variance) 又 称 “ 变 异 数 分 析 ” 或 “F 检 验 ”， 是 
R.A.Fisher 发 明 的 ， 用 于 两 个 及 两 个 以 上 样本 均 数 差别 的 显著 性 检验 。 由 于 各 种 因素 的 影 
响 ， 研 究 所 得 的 数据 呈现 波动 状 。 造 成 波动 的 原因 可 分 成 两 类 ， 一 类 是 不 可 控 的 随机 因 
素 ， 另 一 类 是 研究 中 施加 的 对 结果 形成 影响 的 可 控 因 素 。 方 差分 析 是 从 观测 变量 的 方差 入 
手 ， 研 究 诸多 控制 变量 中 哪些 变量 是 对 观测 变量 有 显著 影响 的 变量 。 


2. 数据 分 析 常 用 的 图 表 方 法 


1) 柏拉图 (排列 图 ) 

柏拉图 是 分 析 和 寻找 影响 质量 主 原因 素 的 一 种 工具 ， 其 形式 为 双 直角 坐标 图 ， 左 边 纵 
坐标 表示 频数 〈 如 件数 、 金 额 等 ) ， 右 边 纵 坐 标 表示 频率 〈 如 百分比 表示 ) 。 折 线 表 示 累 
积 频率 ， 横 坐标 表示 影响 质量 的 各 项 因素 ， 按 影响 程度 的 大 小 〈 即 出 现 频数 多 少 ) 从 左 向 
右 排列 。 通 过 对 柏拉图 的 观察 分 析 可 抓 住 影响 质量 的 主 原因 素 。 

2) 直方 图 

直方 图 是 将 一 个 变量 的 不 同等 级 的 相对 频数 用 矩形 块 标 绘 的 图 表 〈 每 一 矩形 的 面积 对 
应 于 频数 ) 。 直 方 图 又 称 柱状 图 、 质 量 分 布 图 ， 是 一 种 统计 报告 图 ， 由 一 系列 高 度 不 等 的 
纵向 条 纹 或 线段 表示 数据 分 布 的 情况 。 一 般 用 横 轴 表示 数据 类 型 ， 纵 轴 表 示 分 布 情 况 。 

3) 散 点 图 

散 点 图 表示 因 变量 随 自 变量 而 变化 的 大 致 趋势 ， 据 此 可 以 选择 合适 的 函数 对 数据 点 进 
行 拟 合 。 用 两 组 数据 构成 多 个 坐标 点 ， 考 察 坐标 点 的 分 布 ， 判 断 两 变量 之 间 是 否 存在 某 种 
关联 或 总 结 坐 标点 的 分 布 模式 。 

4) 鱼 骨 图 

鱼 骨 图 是 一 种 发 现 问题 “根本 原因 ”的 方法 ， 它 也 可 以 称 之 为 “因果 图 ”， 其 特点 
是 简捷 实用 ， 深 入 直观 。 鱼 骨 图 看 上 去 有 些 像 鱼 骨 ， 问 题 或 缺陷 〈 即 后 果 ) 标 在 “ 鱼 头 ” 
处 。FMEAFMEA 是 一 种 可 靠 性 设计 的 重要 方法 ， 它 实际 上 是 FMA (故障 模式 分 析 ) 和 
FEA〈 故 障 影响 分 析 ) 的 组 合 。 它 对 各 种 可 能 的 风险 进行 评价 、 分 析 ， 以 便 在 现 有 技术 的 
基础 上 消除 这 些 风 险 或 将 这 些 风 险 减 小 到 可 接受 的 水 平 。 


3. 数据 分 析 统计 工具 
1) SPSS 
SPSS 是 世界 上 最 早 采用 图 形 菜单 驱动 界面 的 统计 软件 ， 它 最 突出 的 特点 就 是 操作 界 


面 极为 友好 ， 输 出 的 结果 美观 漂亮 。 它 将 几乎 所 有 的 功能 都 以 统一 、 规 范 的 界面 展现 出 
来 ， 使 用 Windows 的 窗口 方式 展示 各 种 管理 和 分 析 数 据 方法 的 功能 ， 以 对 话 框 展示 出 各 种 
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功能 选择 项 。 用 户 只 要 掌握 一 定 的 Windows 操 作 技能 ， 粗 通 统计 分 析 原 理 ， 就 可 以 使 用 该 
软件 为 特定 的 科研 工作 服务 。 

2) MINITAB 

该 工具 的 功能 菜单 包括 假设 检验 〈 参 数 检验 和 非 参数 检验 ) 、 回 归 分 析 一 元 回归 和 
多 元 回归 、 线 性 回归 和 非 线性 回归 ) 、 方 差分 析 〈 单 因子 、 多 因子 、 一 般 线 性 模型 等 ) ， 
时 间 序 列 分 析 ， 图 表 〈 散 点 图 、 点 图 、 和 矩阵 图 、 直 方 图 、 茎 叶 图 、 箱 线 图 、 概 率 图 、 概 率 
分 布 图 、 边 际 图 、 和 矩阵 图 、 单 值 图 、 饼 图 、 区 间 图 、Pareto、 鱼 骨 图 、 运 行 图 等 ) ， 蒙 特 
卡 罗 模 拟 和 仿真 ， 统 计 过 程控 制 (Statistical Process Control，SPC) ， 可 靠 性 分 析 分布 
拟 合 、 检 验 计 划 、 加 速 寿命 测试 等 ) ，MSA (交叉 、 媒 套 、 量 具 运行 图 、 类 型 I 量 具 研 究 
等 ) 等 。 

3) JMP 

该 算法 源 于 SAS， 特 别 强调 以 统计 方法 的 实际 应 用 为 导向 ， 交 互 性 、 可 视 化 能 力 强 ， 
使 用 方便 ， 尤 其 适合 非 统计 专业 背景 的 数据 分 析 人 员 使 用 ， 在 同类 软件 中 有 较 大 的 优势 。 
JMP 的 应 用 领域 包括 业务 可 视 化 、 探 索性 数据 分 析 、 持 续 改善 可 视 化 质量 管理 、 流 程 优 
化 、 试 验 设 计 、 生 存 及 可 靠 性 、 统 计 分 析 与 建 模 、 交 互 式 数据 挖掘 、 分 析 程 序 开发 等 。 
JMP 是 六 西格玛 软件 的 鼻祖 ， 当 年 摩托 罗拉 开始 推 六 西格玛 的 时 候 ， 用 的 就 是 JIMP 软 件 。 
目前 有 非常 多 的 全 球 项 尖 企 业 采 用 JMP 作 为 六 西格玛 软件 ， 包 括 陶 氏 化 学 、 惠 而 浦 、 铁 姆 
肯 、 招 商 银行 、 美 国 银行 、 中 国 石化 等 。 
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7.1 电网 大 数据 与 智能 传 感 


随 着 电力 信息 化 的 推进 和 智能 变电站 、 智 能 电表 、 实 时 监测 系统 、 现 场 移动 检修 系 
统 、 测 控 一 体 化 系统 以 及 一 大 批 服务 于 各 个 专业 的 信息 管理 系统 的 建设 和 应 用 ， 数 据 的 规 
模 和 种 类 快速 增长 ， 这 些 数据 共同 构成 了 智能 电网 大 数据 。 另 外 ， 智 能 传 感 技术 的 发 展 也 
大 大 加 快 了 电力 大 数据 的 发 展 。 

智能 传 感 技术 的 感知 层 主 要 通过 各 种 电力 系统 状态 传感器 ， 如 电压 、 电 流 、 功 率 传 
感 器 、 温 度 传感器 、 身 份 标签 等 传感器 及 其 组 建 的 无 线 传 感 网 络 等 技术 ， 采 集 从 发 电 、 输 
电 、 配 电 侧 到 用 电 侧 的 各 类 设备 上 的 运行 状态 信息 。 智 能 电网 覆盖 范围 广 ， 设 计 品 种 多 ， 
与 其 关联 的 环境 因素 丰富 ， 目 前 用 于 环境 检测 的 传感器 都 能 在 智慧 电网 得 以 广泛 应 用 。 此 
处 我 们 将 介绍 电流 /电压 /功率 传感器 、 用 电 测量 高 级 传感器 、 电 力 设 备 温度 传感器 、 输 电 
线路 状态 检测 传感器 等 智慧 电网 中 的 传感器 技术 。 

智能 电网 是 电力 工业 发 展 的 方向 和 趋势 。 智 能 电网 利用 先进 的 信息 通信 技术 、 计 算 机 
技术 、 控 制 技术 及 其 他 先进 技术 ， 实 现 对 发 电 、 电 网 运行 、 终 端 用 电 和 电力 市 场 中 各 利益 
方 的 需求 和 功能 的 协调 ， 在 尽 可 能 提高 系统 各 部 分 的 高 效率 运行 、 降 低 成 本 和 环境 影响 的 
同时 ， 提 高 系统 的 可 靠 性 、 自 愈 能力 和 稳定 性 。 

智能 电网 的 最 终 目标 是 建设 成 为 覆盖 电力 系统 整个 生产 过 程 ， 包 括 发 电 、 输 电 、 变 
电 、 配 电 、 用 电 及 调度 等 多 个 环节 的 全 景 实时 系统 。 而 支撑 智能 电网 安全 、 自 愈 、 绿 色 、 
坚强 及 可 靠 运行 的 基础 是 电网 全 景 实时 数据 采集 、 传 输 和 存储 ， 以 及 累积 的 海量 多 源 数 
据 快 速 分 析 ， 大 数据 就 是 指 通过 对 大 量 的 、 种 类 和 来 源 复杂 的 数据 进行 高 速 地 捕捉、 发 
现 和 分 析 ， 用 经 济 的 方法 提取 其 价值 的 技术 体系 或 技术 架构 。 所 以 ， 广 义 上 讲 ， 大 数据 
不 仅 是 指 大 数据 所 涉及 的 数据 ， 还 包含 了 对 这 些 数据 进行 处 理 和 分 析 的 理论 、 方 法 和 技 
术 。 大 数据 早期 主要 应 用 于 商业 、 人 金融 等 领域 ， 后 逐渐 扩展 到 交通 、 医 疗 、 能 源 等 领 
域 ， 智 能 电网 被 看 作 大 数据 应 用 的 重要 技术 领域 之 一 。 一 方面 ， 随 着 智能 电网 的 快速 发 
展 ， 智 能 电表 的 大 量 部 署 和 传 感 技术 的 广泛 应 用 ， 电 力 工 业 产生 了 大 量 结构 多 样 、 来 源 
复杂 的 数据 ， 如 何 存储 和 应 用 这 些 数据 是 电力 公司 面临 的 难题 ; 另 一 方面 ， 这 些 数据 的 
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利用 价值 巨大 ， 不 仅 可 将 电网 自身 的 管理 、 运 行 水 平 提升 到 新 的 高 度 ， 甚 至 产生 根本 性 
的 变革 ， 而 且 可 为 政府 部 门 、 工 业界 和 广大 用 户 提供 更 多 更 好 的 服务 ， 为 电力 公司 拓展 
增值 业务 提供 条 件 。 

2012 年 以 来 ， 国 内 外 在 智能 电网 大 数据 技术 研究 和 工程 应 用 方面 做 了 一 些 有 益 的 尝 
试 ， 呐 定 了 一 定 的 基础 ， 但 总 的 来 看 ， 这 些 工作 尚 处 于 探索 起 步 阶 段 。 智 能 电网 大 数据 的 
研究 和 应 用 是 一 个 长 期 且 复 杂 的 工作 。 

客观 上 ， 大 数据 的 理论 尚未 形成 ， 大 数据 的 相关 技术 仍 在 快速 发 展 中 ， 还 没有 进入 稳 
定时 期 ， 同 时 ， 智 能 电网 通信 信息 系统 的 互 操作 问题 仍然 存在 ， 数 据 模型 尚未 统一 ， 给 数 
据 的 获取 和 应 用 带 来 了 实际 困难 。 

主观 上 ， 电 力 公司 在 大 数据 的 基本 概念 、 研 究 方法 、 应 用 价值 方面 认识 不 足 ， 没 有 达 
成 共识 ， 在 思想 认识 和 技术 准备 上 存在 不 足 ， 也 给 大 数据 在 智能 电网 中 的 应 用 造成 了 一 定 
障碍 。 即 使 有 些 电 力 公 司 和 电力 研究 者 对 大 数据 表示 出 很 大 兴趣 ， 但 由 于 缺少 战略 性 研究 
和 顶层 设计 的 指导 ， 也 影响 了 智能 电网 大 数据 研究 和 应 用 的 有 序 推进 。 

大 数据 的 研究 方法 是 传统 数据 挖掘 技术 的 提升 、 扩 展 甚至 革命 性 改变 ， 大 数据 为 数据 
的 处 理 和 分 析 提供 了 新 的 思路 和 方法 。 且 随 着 大 数据 理论 和 技术 的 发 展 ， 新 的 方法 和 技术 
也 会 随 之 产生 。 

2012 年 以 来 ， 国 内 外 大 学 和 研究 机 构 、IT 企 业 、 电 力 公司 均 开展 了 智能 电网 大 数据 研 
究 和 工程 应 用 。 在 国外 ， 一 些 IT 企业 如 IBM、Oracle 等 ， 陆 续 发 布 了 大 数据 白皮书 。IBM 
和 C3-Energy 开 发 了 针对 智能 电网 的 大 数据 分 析 系统 ; Oracle 提 出 了 智能 电网 大 数据 公共 数 
据 模 型 ， 美 国电 科 院 等 研究 机 构 启动 了 智能 电网 大 数据 研究 项 目 ; 美国 的 太平 洋 燃 气 电力 
公司 、 加 拿 大 的 BC Hydro 等 电力 公司 基于 用 户 用 电 数 据 开 展 了 大 数据 技术 应 用 研究 。 

在 国内 ， 中 国电 机 工程 学 会 发 布 了 电力 大 数据 白皮书 ; 国家 科技 部 2014 年 下 达 了 3 项 
863 项 目 ， 支 持 智 能 电网 大 数据 研究 ， 自 2012 年 以 来 ， 国 家 电网 公司 启动 了 多 项 智能 电网 
大 数据 研究 项 目 ， 江 苏 省 电力 公司 于 2013 年 初 率先 开始 建设 营销 大 数据 智能 分 析 系 统 ， 开 
展 了 基于 大 数据 的 客户 服务 新 模式 应 用 开发 研究 ;北京 等 电力 公司 也 正在 积极 推进 在 营 配 
数据 一 体 化 基础 上 的 智能 电网 大 数据 应 用 研究 。 

智能 电网 大 数据 研究 和 应 用 已 取得 了 一 定 成 效 ， 但 总 的 来 看 ， 研 究 成 果 仍 比较 粗糙 ， 
不 成 体系 ， 研 究 和 应 用 尚 处 于 起 步 和 探索 阶段 。 在 此 起 步 阶段 ， 充 分 借鉴 国内 外 研究 成 
果 ， 分 享 知识 经 验 ， 对 于 促进 开展 智能 电网 大 数据 的 研究 和 应 用 具有 重要 的 意义 。 

智能 电网 产生 了 大 量 的 数据 ， 应 用 大 数据 技术 可 有 效 提高 电网 的 运行 管理 水 平和 服务 
水 平 。 与 此 同时 电力 大 数据 也 给 电力 企业 带 来 了 很 大 的 挑战 ， 需 要 各 方 在 充分 认识 大 数据 
技术 可 带 来 的 显著 效益 基础 上 达成 共识 ， 产 学 研 相 结 合 ， 共 同 推动 智能 电网 大 数据 的 研究 
和 技术 发 展 。 
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7.2 电网 大 数据 与 云 计算 


云 计算 (Cloud Computing) 是 一 种 基于 互联 网 的 计算 方式 ， 通 过 这 种 方式 ， 共 享 的 
软 硬 件 资源 和 信息 可 以 按 需 提供 给 计算 机 和 其 他 设备 。 云 其 实 是 网 络 、 互 联网 的 一 种 比喻 
说 法 。 云 计算 的 核心 思想 是 将 大 量 用 网 络 连 接 的 计算 资源 统一 管理 和 调度 ， 构 成 一 个 计算 
资源 池 向 用 户 提供 按 需 服务 。 提 供 资源 的 网 络 被 称 为 “ 云 ”。 狭 义 云 计算 指 IT 基 础 设施 的 
交付 和 使 用 模式 ， 指 通过 网 络 以 按 需 、 易 扩展 的 方式 获得 所 需 资源 ; 广义 云 计算 指 服务 的 
交付 和 使 用 模式 ， 指 通过 网 络 以 按 需 、 易 扩展 的 方式 获得 所 需 服务 。 这 种 服务 可 以 是 IT 和 
软件 、 互 联网 相关 的 服务 ， 也 可 以 是 其 他 服务 。 

云 计 算是 基于 互联 网 的 相关 服务 的 增加 、 使 用 和 交付 模式 ， 通 常 涉及 通过 互联 网 来 提 
供 动态 易 扩 展 且 经 常 是 虚拟 化 的 资源 。 过 去 在 图 中 往往 用 云 来 表示 电信 和 网， 后 来 也 用 来 表 
示 互 联网 和 底层 基础 设施 的 抽象 。 因 此 ， 云 计算 甚至 可 以 让 用 户 体 验 每 秒 10 万 亿 次 的 运算 
能 力 ， 拥 有 这 么 强大 的 计算 能 力 可 以 模拟 核 爆 炸 、 预 测 气 候 变 化 和 市 场 发 展 趋 势 。 用 户 可 
通过 计算 机 、 笔 记 本 、 手 机 等 方式 接 入 数据 中 心 ， 按 自己 的 需求 进行 运算 。 

对 云 计算 的 定义 有 多 种 说 法 。 对 于 到 底 什 么 是 云 计 算 ， 至 少 可 以 找到 100 种 解释 。 现 
阶段 广 为 接 受 的 是 美国 国家 标准 与 技术 研究 院 (NIST) 的 定义 : 云 计 算是 一 种 按 使 用 量 
付费 的 模式 ， 这 种 模式 提供 可 用 的 、 便 捷 的 、 按 需 的 网 络 访问 ， 进 入 可 配置 的 计算 资源 共 
享 池 〈 资 源 包 括 网 络 、 服 务 器 、 存 储 、 应 用 软件 和 服务 ) ， 这 些 资源 能 够 被 快速 提供 ， 只 
需 投入 很 少 的 管理 工作 ， 或 与 服务 供应 商 进行 很 少 的 交互 。 

为 解决 电力 数据 分 析 系 统 在 大 数据 时 代 面 临 的 严重 的 性 能 与 可 伸缩 性 瓶颈 ， 更 好 地 满 
足 生产 、 营 销 等 系统 的 需求 ， 在 分 析 了 云 计算 技术 优势 的 基础 上 ， 人 们 提出 了 基于 云 计算 
的 电力 大 数据 分 析 系 统 体系 结构 及 关键 技术 ; 基于 分 布 式 并 行 计算 框架 Hadoop 和 Hive， 面 
向 电力 大 数据 特征 ， 设 计 了 多 维 索 引 、SQL 自 动 翻译 工具 和 支持 数据 更 新 的 混合 存储 模 
型 3 项 性 能 提升 技术 ， 以 实现 对 传统 电力 数据 分 析 系 统 的 升级 优化 。 浙 江 电 力 用 电信 息 采 
集 系 统 的 实际 部 署 经 验 表明 ， 和 传统 电力 数据 分 析 系统 相 比 ， 该 系统 以 1/8 的 硬件 成 本 ， 
获得 平均 提高 5 倍 的 性 能 优势 。 证 明了 云 计 算 技 术 能 够 显著 提升 电力 大 数据 查询 与 分 析 性 
能 并 有 效 降低 成 本 。 

智能 电网 技术 是 传统 电力 技术 与 信息 、 控 制 及 自动 化 等 技术 的 深度 融合 ， 通 过 在 发 
电 、 输 电 、 配 电 、 用 电 及 调度 、 营 销 等 多 个 环节 采集 大 量 数据 ， 进 行 深入 分 析 、 挖 据 ， 用 
于 指导 各 环节 决策 与 优化 ， 从 而 提高 电力 企业 生产 效率 、 增 强 电网 运行 稳定 性 、 更 好 地 满 
足 电力 客户 需求 。 随 着 智能 电网 建设 的 不 断 推进 ， 智 能 电网 的 规模 日 益 扩 大 ， 各 种 智能 电 
表 、 传 感 器 、 信 息 系 统 等 异 构 分 布 式 数据 源 持续 不 断 地 产生 海量 数据 ， 被 称 为 电力 大 数 
据 。 电 力 大 数据 被 视 为 电网 智能 化 的 重要 支撑 。 例 如 ， 在 发 电 设备 或 输电 设备 上 安装 传 感 
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器 并 收集 设备 运行 状态 以 及 外 部 温度 、 风 力 等 信息 ， 就 能 够 动态 调节 设备 运行 状况 ， 发 挥 
设备 最 大 功效 。 由 于 电力 大 数据 的 基础 性 作用 ， 对 电力 大 数据 的 采集 、 传 输 、 存 储 及 处 
理 、 挖 气 便 成 了 智能 电网 研究 与 建设 的 重要 内 容 。 目 前 ， 电 力 数 据 分 析 系 统 大 多 基于 关系 
数据 库 ， 具 有 分 析 速 度 慢 、 可 伸缩 性 差 等 缺点 ， 难 以 适应 智能 电网 时 代 电 力 大 数据 对 数据 
存储 与 分 析 的 需求 ， 已 成 为 智能 电网 建设 的 瓶颈 所 在 。 针 对 智能 电网 中 数据 分 析 应 用 的 共 
性 需求 与 电力 大 数据 的 典型 特征 ， 科 研 人 员 提出 了 一 套 基于 云 计算 的 电力 大 数据 分 析 平 
台 ， 该 平台 已 在 国 网 浙江 省 电力 公司 实际 部 署 并 上 线 运行 ， 取 得 了 良好 的 效果 。 

电力 大 数据 指 智 能 电网 在 发 电 、 配 电 、 输 电 、 营 销 及 管理 等 各 个 环节 产生 的 大 量 数 
据 。 由 部 署 于 各 种 设备 上 的 大 量 传感器 ， 安 装 在 各 用 电 户 家 中 的 智能 电表 、 营 销 系统 收集 
的 客户 反馈 等 数据 源 产生 并 汇聚 到 集中 的 数据 中 心 统一 存储 管理 。 电 力 大 数据 是 建设 稳 
定 、 可 靠 、 高 效 、 节 能 的 智能 电网 的 支撑 性 元 素 之 一 。 通 过 分 析 电 力 大 数据 ， 能 够 提升 智 
能 电网 的 精益 化 管理 水 平 ， 制 定 更 科学 的 生产 计划 ， 优 化 能 源 输送 调度 ， 建 立 更 准确 的 用 
户 用 电 行为 模型 等 。 

云 计算 是 一 种 全 新 的 大 规模 分 布 式 计算 模式 ， 起 源 于 互联 网 公司 对 大 量 计算 与 存储 资 
源 的 需求 以 及 对 可 伸缩 、 高 性 能 、 高 可 用 等 特征 的 追求 。 云 计算 聚合 了 大 量 分 布 、 异 构 的 
资源 ， 向 用 户 提供 强大 的 海量 数据 存储 与 计算 能 力 。 云 计算 通过 虚拟 化 、 动 态 资源 调配 等 
技术 向 用 户 提 供 按 需 服务 ， 避 免 资源 浪费 与 竞争 ， 提 高 资源 利用 率 以 及 应 用 性 能 。 云 计算 
提供 了 横向 伸缩 与 动态 负载 均衡 能 力 ， 即 云 计算 支持 运行 时 向 数据 中 心 增加 新 的 节点 ， 系 
统 会 自动 将 部 分 负载 迁移 至 新 增 节点 ， 并 保持 节点 间 负 载 的 平衡 ， 从 而 增强 了 整个 系统 的 
业务 承载 能 力 。 云 计算 环境 中 的 资源 被 组 织 为 数据 中 心 的 形式 。 一 个 数据 中 心包 含 数 千 其 
至 数 万 节点 ， 节 点 间 通 过 高 速 网 络 互联 ， 共 同 向 用 户 提供 计算 与 存储 资源 。 云 计算 发 展 极 
为 迅速 ， 目 前 已 经 走出 实验 室 ， 出 现 了 一 系列 成 熟 的 产品 与 技术 ， 除 互联 网 公司 外 ， 已 经 
在 诸多 传统 行业 如 电信 、 零 售 、 金 融 等 得 到 广泛 应 用 。 

基于 云 计算 的 大 数据 分 析 技 术 已 有 较 完整 的 参考 架构 与 软件 实现 ， 并 在 一 些 行业 中 得 
到 应 用 。 然 而 ， 这 些 系统 大 多 来 源 于 互联 网 行业 ， 其 设计 、 实 现 以 及 功能 特性 均 充分 体现 
了 互联 网 大 数据 及 其 业务 的 需求 与 特征 。 当 应 用 于 互联 网 之 外 的 行业 时 ， 通 常 做 法 是 在 对 
该 行业 的 大 数据 特征 、 业 务 需求 进行 充分 细致 分 析 的 基础 上 ， 针 对 现 有 系统 的 局 限 性 ， 进 
行 定 制 开发 与 优化 。 

电力 大 数据 和 互联 网 大 数据 的 区 别 主要 有 3 点 。 

(1) 在 互联 网 场景 下 ， 典 型 的 大 数据 应 用 需要 顺序 扫描 整个 数据 集 ， 因 此 ， 分 布 式 并 
行 大 数据 分 析 系 统 Hive 或 Impala 等 均 未 对 索引 提供 良好 支持 ;而 在 电力 大 数据 分 析 中 ， 多 维 
区 域 查询 极为 常见 ， 由 于 没有 索引 ， 将 导致 访问 大 量 不 需要 的 数据 ， 并 显著 降低 查询 的 执 
行 性 能 。 需 要 针对 多 维 区 域 查询 的 特征 ， 设 计 合适 的 索引 结构 以 及 相应 的 数据 检索 机 制 。 

(2) 互联 网 大 数据 的 典型 特征 是 “一 次 写 多 次 读 ”。 面 向 这 种 数据 特征 ， 分 布 式 文 
件 系统 HDFS〉 及 Hive 均 未 提供 数据 改写 (更 新 或 删除 ) 机 制 ， 只 能 通过 全 部 覆盖 现 有 
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数据 的 方式 间接 达到 改写 数据 的 目的 。 而 在 电力 大 数据 业务 场景 中 ， 存 在 大 量 数据 改写 语 
句 ， 以 覆盖 现 有 数据 的 方式 执行 这 些 查 询 将 会 导致 执行 效率 低下 的 问题 ， 因 此 ， 迫 切 需 要 
在 现 有 系统 中 提供 数据 改写 机 制 。 

(3) 互联 网 公司 根据 自身 的 业务 需求 而 设计 的 大 数据 查询 语言 (如 HQL 只 是 SQL 的 
一 个 子 集 ， 而 电力 数据 分 析 系 统 大 多 使 用 标准 SQL 语 言 编写 ) ， 需 要 耗费 大 量 的 人 力 与 时 
间 才 能 将 现 有 的 数 以 万 计 的 SQL 语句 翻译 为 等 价 的 HQL 语 句 。 因 此 ， 需 要 设计 一 种 工具 ， 
实现 自动 将 SQL 语言 翻译 为 HQL 语 言 ， 从 而 提升 遗留 应 用 的 迁移 速度 ， 实 现 电 力 数据 分 析 
业务 的 无 颖 平滑 迁移 。 

基于 上 述 分 析 ， 为 满足 智能 电网 对 电力 大 数据 深入 分 析 、 挖 掘 的 需求 ， 针 对 电力 大 数 
据 及 其 业务 逻辑 的 典型 特征 ， 结 合 云 计 算 技术 的 最 新 进展 与 实际 行业 部 署 经 验 ， 研 发 了 基 
于 云 计算 的 电力 大 数据 分 析 系统 。 该 系统 基于 分 布 式 并 行 计 算 框架 (Hadoop) ， 采 用 Hive 
作为 数据 分 析 软 件 ， 并 针对 电力 大 数据 特征 ， 开 发 了 基于 网 格 文件 的 多 维 索引 、 基 于 查询 
重 写 的 SQL 到 HQL 自动 翻译 工具 和 支持 数据 更 新 的 混合 存储 模型 等 关键 技术 ， 全 面 增强 了 
Hive 的 性 能 与 易 用 性 。 该 系统 已 成 功 应 用 于 浙江 电力 用 电信 息 采 集 系 统 ， 和 原 有 基于 关系 
数据 库 的 系统 相 比 ， 大 幅度 提高 了 系统 性 能 并 降低 了 系统 成 本 。 

电力 大 数据 从 采集 到 最 终 的 分 析 计算 ， 需 经 过 多 个 环节 。 大 量 传感器 和 智能 电表 以 
固定 频率 周期 性 的 采集 数据 ， 经 通信 网 络 发 送 至 数据 中 心 ， 对 于 数据 采集 过 程 中 的 错误 或 
遗漏 ， 则 不 定期 地 进行 用 电信 息 的 补充 采集 (下 简称 补 采 ) 。 为 缓解 云 存储 系统 的 访问 压 
力 ， 采 集 到 的 数据 首先 进入 前 置 机 缓冲 池 ， 进 行 解码 与 预 处 理 。 除 数据 源 定期 采集 的 数据 
外 ， 设 备 、 人 员 等 相对 静态 的 信息 构成 档案 数据 库 ， 保 存在 关系 数据 库 中 ， 被 直接 复制 到 
云 存储 系统 中 。 当 档案 数据 库 发 生 更 新 时 ， 应 将 更 新 同步 到 云 存储 系统 中 ， 以 保证 计算 结 
果 的 准确 性 。 并 行 计 算 环 境 访问 云 存储 系统 ， 根 据 业 务 罗 辑 对 数据 进行 复杂 的 分 析 计算 ， 
并 将 计算 结果 写 入 云 存储 系统 。 在 线 查 询 系统 从 云 存储 系统 中 取得 满足 用 户 请 求 的 数据 并 
返回 用 户 。 某 些 针 对 档案 类 数据 的 查询 需要 计算 结果 数据 ， 因 此 ， 云 存储 系统 还 将 计算 结 
果 同 步 到 关系 数据 库 中 ， 以 便 用 户 通 过 关系 数据 库 查询 数据 。 

电力 大 数据 分 析 系 统 体 系 结构 主要 模块 包括 : 

(1) 分 布 式 文件 系统 HDFS) 模块 是 整个 大 数据 分 析 系 统 的 核心 模块 之 一 ， 用 于 各 
类 电力 大 数据 的 持久 化 存储 。HDFS 由 一 个 元 数据 服务 器 与 多 个 数据 服务 器 构成 。 文 件 被 
分 为 64MB 的 数据 块 ， 分 布 到 不 同 的 数据 服务 器 上 。 每 个 数据 块 均 有 3 个 副本 ， 分 布 在 不 同 
的 节点 上 。 当 某 个 副本 不 可 访问 时 ， 系 统 会 自动 创建 新 副本 ， 维 持 负载 均衡 。 

(2) Hadoop 是 由 Google 公 司 提出 的 MapReduce 并 行 编程 框架 的 开源 实现 。 
MapReduce 程 序 由 Map 函 数 和 Reduce 函 数组 成 ，Map 函 数 每 次 将 一 个 输入 (key，value) 对 
转换 为 一 组 中 间 结 果 (key，value) 对 ; Reduce 函 数 对 key 相 同 的 一 组 value 进 行 处 理 ， 产 
生 最 终结 果 并 写 入 分 布 式 文件 系统 HDFS。 

(3) Hive 为 基于 Hadoop 平 台 的 数据 仓库 系统 ， 用 于 对 大 数据 进行 分 析 计 算 。Hive 提 
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供 了 类 SQL 查 询 语 言 HiveQL (HQL) ， 为 数据 分 析 人 员 提 供 了 熟悉 的 接口 。HQL 查 询 由 
Hive 解 析 器 编译 为 一 组 MapReduce 程 序 。 与 关系 数据 库 类 似 ，Hive 将 数据 组 织 为 表 ， 并 存 
储 到 HDFS 中 。 

(4) 监控 工具 与 运行 调度 工具 。 监 控 工 具 用 于 监控 系统 的 运行 状态 、 数 据 分 析 作 业 
的 执行 状态 等 信息 ; 运行 调度 工具 根据 管理 员 指定 的 调度 策略 与 资源 状况 对 数据 分 析 作 业 
进行 调度 ， 解 析 作业 间 的 关联 或 依赖 关系 。 

(5) 开发 工具 集 包 括 SQL 翻 译 、 并 行 ETL 工 具 、 索 引 管理 、 任 务 管理 等 工具 ， 为 系 
统管 理 员 提供 基于 Web 的 图 形 化 界面 ， 简 化 系统 的 配置 管理 等 工作 。 

Hive 的 设计 初衷 是 为 了 简化 互联 网 公司 进行 大 数据 分 析 的 难度 ， 并 未 考虑 其 他 行业 
的 需求 。 电 力 大 数据 分 析 的 特征 与 互联 网 大 数据 差异 显著 ， 这 使 得 Hive 在 性 能 和 功能 等 方 
面 均 有 较 大 的 优化 空间 。 针 对 电力 大 数据 分 析 的 业务 特征 以 及 Hive 的 局 限 性 ， 从 三 方面 对 
Hive 进 行 了 扩充 与 优化 : 一 是 ， 基 于 网 格 结构 的 多 维 索引 ， 二 是 ， 基 于 查询 重 写 的 SQL 到 
HQL 自 动 翻译 工具 ;， 三 是 ， 支 持 数据 更 新 的 混合 存储 模型 。 


7.3 ”电网 大 数据 与 物 联网 


物 联网 〈Internet of Things，IoT) 是 新 一 代 信息 技术 的 重要 组 成 部 分 ， 也 是 信息 化 时 
代 的 重要 发 展 阶段 。 顾 名 思 义 ， 物 联网 就 是 物 物 相连 的 互联 网 。 

这 有 两 层 意思 : 其 一 ， 物 联网 的 核心 和 基础 仍然 是 互联 网 ， 是 在 互联 网 基础 上 延伸 
和 扩展 的 网 络 ， 其 二 ， 其 用 户 端 延伸 和 扩展 到 了 任何 物品 与 物品 之 间 ， 进 行 信息 交换 和 通 
信 ， 也 就 是 物 物 相 息 。 

物 联网 通过 智能 感知 、 识 别 技术 与 普 适 计算 等 通信 感知 技术 ， 广 泛 应 用 于 网 络 的 融合 
中 ， 也 因此 被 称 为 继 计算 机 、 互 联网 之 后 世界 信息 产业 发 展 的 第 三 次 浪潮 。 物 联网 是 互联 
网 的 应 用 拓展 ， 与 其 说 物 联 网 是 网 络 ， 不 如 说 物 联网 是 业务 和 应 用 。 因 此 ， 应 用 创新 是 物 
联网 发 展 的 核心 ， 以 用 户 体验 为 核心 的 创新 2.0 是 物 联 网 发 展 的 灵魂 。 

目前 ， 国 家 电网 公司 已 经 踏 上 了 物 联 网 应 用 的 探索 之 路 ， 物 联网 成 为 了 公司 信息 化 
规划 的 重要 组 成 部 分 。 目 前 ， 已 经 在 小 范围 对 物 联网 进行 了 试点 研究 和 应 用 ， 例 如 在 智能 
小 区 用 电 管 理 方面 ， 通 过 智能 插座 以 及 无 线 组 网 的 方式 对 家 庭 用 电 设 备用 电 情 况 进 行 统 
计 ， 并 实现 对 全 屋 家 电 的 无 线 和 遥控 ;在 高 压 变电站 ， 实 现 了 无 线 自 组 网 的 变压器 温度 实时 
监测 ， 从 而 减少 变压器 因 温 度 过 高 引起 的 故障 ; 基于 现实 增强 技术 (AR) 的 现场 作业 管 
理 ， 通 过 谷歌 眼镜 实时 进行 设备 识别 和 接收 设备 信息 ， 同 时 支持 远程 技术 支援 ， 从 而 方便 
班组 检修 。 此 外 ， 还 尝试 将 物 联 网 技术 与 无 线 专 网 传输 、 大 数据 等 技术 结合 ， 进 一 步 实现 
电网 精细 化 管理 。 
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电力 物 联网 可 以 提供 对 电网 基础 运行 业务 和 企业 现代 化 运营 模式 的 全 方位 支撑 ， 重 点 
围绕 电力 物 联网 感知 层 、 网 络 层 及 应 用 层 展开 。 感 知 层 重点 研究 统一 的 信息 模型 ， 具 体 包 
括 统一 标识 、 统 一 语义 、 统 一 数据 表达 格式 、 安 全 防护 等 ， 形 成 相关 标准 规范 ， 研 发 系列 
传感器 、 传 感 芯片 、 标 准 化 通信 模块 及 信息 格式 转换 设备 等 。 网 络 层 重 点 研究 并 制定 统一 
通信 规约 ， 研 发 标准 化 通信 芯片 、 无 线 通信 装置 、 骨 干 网 通信 装置 、 标 准 化 接 入 网 关 、 网 
管 系统 等 ， 引 入 多 种 融合 通信 技术 ， 丰 富 通信 手段 ， 解 决 信息 中 远 距离 可 靠 传输 问题 。 应 
用 层 重点 研究 基于 SG-ERP 架 构 的 物 联网 统一 数据 模型 ， 实 现 数据 存储 管理 及 统一 服务 ， 
开发 电力 物 联 网 综合 应 用 平台 ， 为 现 有 业务 系统 及 应 用 服务 提供 支撑 。 

首先 ， 电 力 物 联网 实际 上 是 专用 网 。 电 力 物 联网 可 用 的 基层 网 络 可 以 有 很 多 种 。 根 据 
应 用 的 需要 可 以 是 电力 行业 通信 专 网 ， 也 可 以 是 新 建 的 专用 于 电力 物 联网 的 通信 网 ， 在 应 
急 情 况 下 可 以 部 分 采用 公众 通信 和 网。 原则 上 ， 电 力 物 联网 只 有 电力 系统 才能 连 进去 ， 电 力 
物 联网 的 绝 大 多 数 信息 流 只 能 在 电力 系统 内 部 流动 。 其 次 ， 电 力 物 联网 往往 是 受 限 网 络 。 
物 联网 在 电力 系统 中 有 丰富 多 样 的 应 用 ， 电 力 系 统 不 同 的 应 用 对 信息 提出 不 同 的 需求 。 所 
以 ， 电 力 物 联网 的 应 用 多 样 性 与 承载 平台 的 通用 性 之 间 需 要 有 应 用 中 间 件 来 适 配 ， 进 行 数 
据 过 滤 、 数 据 挖掘 与 决策 支撑 等 智能 信息 处 理 。 物 联网 信息 对 于 各 种 应 用 是 受 限 的 。 同 
时 ， 电 力 物 联网 具有 严格 的 用 户 身份 识别 、 验 证 、 鉴 权 制度 ， 不 同 用户 享 受 不 同等 级 的 物 
联网 服务 。 所 以 电力 物 联 网 也 是 用 户 受 限 的 。 最 后 ， 电 力 物 联网 具有 高 度 的 安全 性 和 可 靠 
性 。 由 于 电力 物 联网 直接 支撑 电网 业务 ， 所 以 电力 物 联网 很 大 程度 上 影响 着 电力 系统 的 安 
全 稳定 运行 。 所 以 建设 坚强 智能 电网 必须 要 求 电力 物 联网 具有 极 高 的 安全 性 和 可 靠 性 。 

基于 “统一 规划 、 统 一 标准 、 统 一 组 织 、 统 一 实施 ”的 原则 以 及 SG-ERP 总 体 架构 ， 
国家 电网 公司 电力 物 联网 建设 集中 了 公司 系统 内 电力 物 联网 核心 攻关 团队 及 优势 资源 ， 进 
行规 划 研 究 、 标 准 制定 、 产 品 开发 、 产 品 验证 ， 并 通过 建立 应 用 示范 ， 逐 步 推广 物 联网 应 
用 ， 实 现 与 智能 电网 的 同步 建设 。 

利用 物 联网 技术 ， 可 以 提高 对 配 电 线路 等 电网 设备 的 感知 能 力 ， 并 很 好 地 结合 信息 
通信 网 络 ， 实 现 联合 处 理 、 数 据 传 输 、 综 合 判断 等 功能 ， 提 高 配 电 网 的 技术 水 平和 智能 化 
水 平 ， 配 电线 路 状态 监测 是 其 重要 应 用 环节 之 一 ， 主 要 包括 气象 环境 监测 、 线 路 微风 震动 
等 ， 这 些 都 需要 物 联网 技术 的 支持 ， 包 括 传感器 技术 、 智 能 分 析 和 处 理 技术 、 数 据 融合 技 
术 及 可 靠 通信 技术 。 

在 配 电 系统 中 ， 应 用 物 联网 技术 可 提高 配 电 网 设备 的 自动 化 和 数字 化 水 平 、 设 备 检修 
水 平 及 自动 诊断 水 平 ， 通 过 物 联 网 可 对 设备 环境 状态 信息 、 机 械 状 态 信息 、 运 行 状态 信息 
进行 实时 监测 和 预警 诊断 ， 提 前 做 好 故障 预 判 、 设 备 检修 等 工作 。 由 于 各 种 原因 ， 电 力 设 
备 会 产生 发 热 现 象 ， 设 备 各 部 位 温度 是 表征 设备 运行 是 否 处 于 正常 运行 状态 的 一 个 重要 参 
数 ， 采 用 无 线 传 感 网 络 技术 ， 可 实现 对 设备 温度 的 实时 监控 。 同 样 ， 物 联网 技术 可 用 于 电 
力 杆 塔 或 重要 设施 的 全 方位 防护 ， 通 过 在 杆 塔 、 配 电线 路 或 重要 设备 上 部 署 各 种 智能 传 感 
器 和 感知 设备 ， 组 成 多 传感器 协同 感知 的 物 联网 网 络 ， 实 现 目 标识 别 、 侵 害 行为 的 有 效 分 
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类 和 区 域 定位 ， 从 而 达到 对 配 网 设备 全 方位 防护 的 目标 。 

我 国 配 电网 环境 多 样 、 复 杂 ， 自 然 环 境 、 人 为 活动 都 会 对 配 电 网 线路 产生 影响 。 物 联 
网 在 这 方面 的 应 用 主要 包括 : 巡 检 人 员 的 定位 、 设 备 运行 环境 和 状态 信息 的 感知 、 辅 助 状 
态 检修 和 标准 化 作业 指导 等 。 

电力 物 联网 技术 将 在 智能 电网 的 诸多 环节 广泛 应 用 。 有 些 物 联 网 技术 已 经 被 应 用 ， 有 
些 还 需要 加 大 推广 应 用 力度 。 

配 电 环节 是 智能 电网 中 一 个 极为 重要 的 环节 ， 目 前 已 经 开展 了 许多 相关 的 工作 。 结 合 
物 联网 技术 ， 可 以 更 好 地 实现 这 些 高 级 应 用 ， 提 高 输电 环节 的 智能 化 水 平和 可 靠 性 程度 。 
物 联网 在 输电 环节 中 可 以 实现 具有 较 大 规模 的 产业 化 应 用 。 

变 电 环节 是 智能 电网 中 一 个 十 分 重要 的 环节 ， 目 前 已 经 开展 了 许多 相关 的 工作 ， 主 要 是 
全 面 开展 变电站 综合 自动 化 建设 。 物 联网 在 配 电网 自动 化 方面 的 应 用 主要 集中 在 以 下 几 个 方 
面 : 快速 故障 诊断 、 隔 离 和 自动 恢复 供电 、 无 功 /电压 控制 、 配 网 潮流 检测 分 析 计 算 等 。 

电力 设备 的 状态 检修 是 工业 化 国家 普遍 推行 的 一 种 科学 的 设备 检修 管理 策略 。 物 联网 
技术 在 配 电网 现场 作业 管理 方面 的 应 用 主要 包括 身份 识别 、 电 子 标 签 与 电子 工作 票 、 环 境 
信息 监测 、 远 程 监控 等 。 搭 建 配 电网 现场 作业 管理 系统 ， 实 现 确 认 对 象 状 态 ， 匹 配 工作 程 
序 和 记录 操作 过 程 的 功能 ， 减 少 误 操 作风 险 和 安全 隐患 ， 真 正 实现 调度 指挥 中 心 与 现场 作 
业 人 员 的 实时 互动 。 

结合 物 联 网 技术 可 以 研究 不 同类 型 风电 机 组 的 稳 态 特性 和 动态 特性 及 其 对 电网 电压 
稳定 性 、 暂 态 稳定 性 的 影响 ， 提 出 风电 场 接 入 电网 的 可 靠 性 分 析 评 估 方 法 ， 建 立 可 靠 性 模 
型 ， 开 发 相应 的 分 析 软 件 。 开 发 风能 实时 监测 和 风电 功率 预测 系统 ， 建 立 风电 机 组 /风电 
场 并 网 测试 体系 ;研究 风电 场 继 电 保护 技术 及 保护 配置 方案 、 定 值 整定 ， 研 究 变 流 器 、 变 
桨 控制 、 主 控 及 风电 场 综合 监控 技术 、 低 电压 穿越 技术 ; 开发 出 具有 自主 知识 产权 的 风电 
运行 、 控 制 、 保 护 等 系统 ， 进 行 产业 化 推广 应 用 。 联 网 技术 的 应 用 有 助 于 研究 大 规模 核 
电 、 风 电 和 特 高 压 输电 对 系统 内 抽水 蓄 能 容量 规模 的 要 求 ， 研究 “三 华 特 高 压 同步 电网 ” 
中 抽水 蓄 能 电站 的 联网 效益 ， 主 要 分 析 错 峰 、 调 峰 、 水 火 互 济 、 跨 流域 补偿 、 互 为 备用 和 
调剂 余 缺 的 能 力 ; 研究 大 型 抽水 蓄 能 电站 在 智能 电网 中 的 功能 定位 ， 逐 步 实 现 调 峰 填 谷 、 
核 蓄 互助 、 风 著 互 补 ， 开 展 大 容量 蓄 能 机 组 直接 接 入 特 高 压 电 网 的 研究 、 实 现 荤 能 机 组 事 
故 备用 、 潮 流 调 整 等 功能 扩展 ; 研究 抽水 蓄 能 电站 的 智能 调度 运行 控制 技术 ， 依 靠 自 主创 
新 ， 开 发 研制 抽水 蓄 能 电站 关键 设备 ， 包 括 计 算 机 监控 、 调 速 、 励 磁 、 变 频 器 等 ， 并 投入 
示范 应 用 ; 初步 研究 蓄 能 机 组 跟踪 风电 功率 变化 的 功率 调节 技术 ， 在 风 蓄 互补 系统 中 发 挥 
更 大 作用 ; 制定 满足 电力 系统 需求 的 蓄 能 机 组 机 网 协调 和 辅助 服务 等 技术 标准 。 深 化 抽 
水 荤 能 启动 功能 研究 ，200MW 及 以 上 荤 能 机 组 带动 地 区 小 负荷 孤 网 运行 。 物 联网 技术 同 
样 有 助 于 开展 钠 硫 电池 、 液 流 电 池 、 锂 离子 电池 的 模块 成 组 、 智 能 充 放电 、 系 统 集成 等 关 
键 技术 研究 ， 开 展 智 能 电网 中 储 能 电源 规划 设计 和 运行 调度 技术 的 研究 ;逐步 开展 储 能 技 
术 在 智能 电网 安全 稳定 运行 、 削 峰 填 谷 、 间 鞭 性 能 源 柔 性 接 入 、 提 高 供电 可 靠 性 和 电能 质 
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量 、 电 动 汽车 能 源 供给 、 燃 料 电池 以 及 家 庭 分 散 式 储 能 中 的 应 用 研究 和 示范 。 加 强大 型 压 
缩 空气 储 能 等 多 种 蓄 能 技术 的 研发 ， 在 重大 技术 突破 的 基础 上 开展 试点 应 用 。 

同时 ， 电 力 系统 的 数据 也 满足 大 数据 “大 ”的 特点 : 常规 SCADA 系 统 按 采样 间隔 
3 一 4s 计 算 ，10000 个 采集 点 一 年 能 产生 1.03TB 数 据 ， 国 家 电网 公司 的 2.4 亿 块 智能 电表 
年 产生 数据 量 约 为 200TB; 而 整个 国家 电网 公司 信息 系统 灾 备 中 心 的 数据 总 量 ， 接 近 
15PB。 不 仅 如 此 ，GIS、EMS、DTS 等 系统 也 在 随时 产生 、 传 输 与 存储 数据 ， 而 且 随 着 电 
能 应 用 领域 的 不 断 拓 宽 与 电力 信息 化 的 不 断 深入 ， 电 力 数 据 正在 以 前 所 未 有 的 速度 增长 。 

因此 ， 电 力 数 据 如 何 为 智能 电网 、 智 慧 城市 以 及 节能 减 排 服 务 ， 成 为 全 世界 都 在 研究 
的 课题 。 

在 我 国 ， 由 于 各 级 电力 调度 中 心 在 信息 化 建设 过 程 中 ， 各 单位 、 各 部 门 是 以 阶段 性 、 
功能 性 的 方式 推进 ， 缺 乏 数据 输出 的 标准 化 规定 ， 导 致电 网 从 诞生 之 日 起 ， 就 积累 了 大 量 
采用 不 同 存储 方式 、 不 同 数据 模型 、 不 同 编码 规则 的 电网 参数 。 这 些 数据 既 有 简单 的 文件 
数据 库 ， 也 有 复杂 的 网 络 数据 库 ， 构 成 了 电网 的 异 构 数据 源 。 

电力 大 数据 将 改变 什么 ? 

电力 大 数据 的 价值 在 于 通过 挖掘 数据 之 间 的 关系 和 规律 ， 在 保证 供电 充裕 度 、 优 化 电 
力 资源 配置 以 及 辅助 政府 决策 、 能 源 利用 等 方面 将 会 产生 颠覆 性 作用 。 

通过 电力 用 户 特征 分 析 发 现 用 电 规 律 ， 从 需求 侧 预测 电能 供给 ， 从 而 指导 电力 生产 ， 
改变 现 有 通过 粗 儿 式 一 定量 的 备用 电容 应 对 紧急 情况 的 方式 ， 增 加 电能 的 利用 率 。 同 时 ， 
通过 对 用 户 用 电 习 惯 进 行 分 析 ， 也 有 利于 电力 营销 的 进行 。 

通过 电力 大 数据 可 以 清楚 地 知道 全 国电 网 的 分 布 情况 与 电力 使 用 情况 ， 发 现 电 网 布局 
或 者 发 、 输 、 变 电 环节 的 不 合理 现象 ， 让 政府 的 相关 决策 以 数据 为 基础 ， 改 变 “ 拍 脑袋 ” 
定 方案 的 模式 ， 让 电网 更 科学 、 更 智能 。 

电力 大 数据 因 其 全 生命 周期 性 、 全 系统 覆盖 的 特征 ， 能 通过 数据 发 现 电力 生产 与 电力 
服务 之 间 的 问题 ， 预 防 大 规模 停电 的 发 生 ， 在 保证 供电 稳定 性 以 及 灾害 天 气 时 电力 的 恢复 
速度 方面 ， 提 供 了 坚强 后 盾 。 

电力 作为 生产 、 生 活 中 必 不 可 少 的 基础 能 源 系统 ， 是 构筑 绿色 、 节 能 、 便 利 的 智慧 
城市 系统 和 发 展 “ 一 次 性 能 源 的 清洁 蔡 代 和 终端 能 源 的 电能 替代 ”的 大 能 源 系统 的 枢纽 环 
节 ， 精 准 的 电力 大 数据 无 疑 是 该 枢纽 中 的 “核心 ”， 起 着 牵 一 发 而 动 全 身 的 作用 。 


7.4 电网 大 数据 与 移动 互联 网 


首先 ， 我 们 要 和 弄 清楚 移动 互联 网 与 大 数据 的 含义 。 移 动 互联 网 ， 就 是 将 移动 通信 和 互 
联网 二 者 结合 起 来 ， 成 为 一 体 ， 也 是 互联 网 的 技术 、 平 台 、 商 业 模 式 和 应 用 与 移动 通信 技 
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术 结 合并 实践 的 活动 的 总 称 。 大 数据 指 的 是 需要 新 处 理 模 式 才 能 具有 更 强 的 决策 力 、 洞 察 
力 和 流程 优化 能 力 的 海量 、 高 增长 率 和 多 样 化 的 信息 资产 。 简 而 言 之 ， 移 动 互 联网 即 是 可 
“移动 ”的 互联 网 ， 大 数据 就 是 大 量 的 数据 。 

下 面 分 别 对 移动 互联 网 与 大 数据 进行 分 析 。 


1. 移动 下 联网 的 特点 


移动 互联 网 业务 的 特点 不 仅 体现 在 移动 性 上 ， 可 以 “随时 、 随 地 、 随 心 ” 地 享受 互联 
网 业务 带 来 的 便捷 ， 还 表现 在 更 丰富 的 业务 种 类 、 个 性 化 的 服务 和 更 高 服务 质量 的 保证 方 
面 ， 当 然 ， 移 动 互联 网 在 网 络 和 终端 方面 也 受到 了 一 定 的 限制 。 其 特点 概括 起 来 主要 包括 
以 下 几 个 方面 。 

(1) 终端 移动 性 。 移 动 互联 网 业务 使 得 用 户 可 以 在 移动 状态 下 接 入 和 使 用 互联 网 服 
务 ， 移 动 的 终端 便于 用 户 随身 携带 和 随时 使 用 。 

(2) 终端 和 网 络 的 局 限 性 。 移 动 互联 网 业务 在 便携 的 同时 ， 也 受到 了 来 自 网 络 能 力 
和 终端 能 力 的 限制 。 在 网 络 能 力 方 面 ， 受 到 无 线 网 络 传输 环境 、 技 术 能 力 等 因素 限制 ， 在 
终端 能 力 方面 ， 受 到 终端 大 小 、 处 理 能 力 、 电 池 容 量 等 的 限制 。 

(3) 业务 与 终端 、 网 络 的 强 关联 性 。 由 于 移动 互联 网 业务 受到 了 网 络 及 终端 能 力 的 
限制 ， 因 此 ， 其 业务 内 容 和 形式 也 需要 适合 特定 的 网 络 技术 规格 和 终端 类 型 。 

(4) 业务 使 用 的 私密 性 。 在 使 用 移动 互联 网 业务 时 ， 所 使 用 的 内 容 和 服务 更 私密 ， 
如 手机 支付 业务 等 。 


2. 移动 互联 网 的 发 展现 状 


2014 年 ， 中 国 整体 网 民 规模 为 6.48 亿 ， 其 中 移动 网 民 达 到 5.6 亿 人 ， 增 长 率 为 11.4%， 
移动 网 民 增 速 远 超过 整体 网 民 的 增 速 ， 中 国 整体 网 民 的 增长 已 由 PC 网 民 增 长 完全 转移 到 
移动 网 民 的 增长 。 这 为 电力 企业 开展 移动 互联 业务 提供 了 基础 条 件 。 

1) 电网 大 数据 与 微 应 用 

微 应 用 属于 移动 互联 网 络 旗下 的 一 个 服务 品牌 。 微 应 用 作为 一 个 新 兴 的 平台 ， 微 应 用 
的 形式 不 同 于 微 博 及 传统 PC 上 的 应 用 功能 ， 它 主要 运行 于 移动 终端 ， 最 大 的 特点 是 有 APP 
的 味道 ， 故 称 之 为 轻 APP。 

微 应 用 习惯 上 指 微 信 应 用 的 开发 对 接 ， 但 依托 多 年 的 移动 应 用 开发 经 验 和 产品 积累 沉 
淀 ， 领 衔 突破 传统 、 大 胆 创 新 ， 在 满足 各 种 公众 微 信 应 用 功能 对 接 的 同时 ， 还 为 客户 制 
作对 应 的 APP 客 户 端 ， 无 颖 地 打通 了 各 种 第 三 方 移动 交互 开放 接口 ， 实 现 完美 的 四 网 合 
一 整合 。 

微 信 企 业 号 是 微 信 为 企业 客户 提供 的 移动 服务 ， 旨 在 提供 企业 移动 应 用 入 口 。 通 过 微 
信 公 众 服 务 平 台 设 计 专 属 的 电力 “ 微 生 活 ” 智 能 公众 服务 应 用 ， 虽 在 解决 电力 企业 与 公众 
沟通 互动 的 问题 。 
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自从 一 百 多 前 电磁 感应 定律 被 发 现 以 来 ， 电 能 已 经 深入 到 千家 万 户 。 目 前 随 着 经 济 的 
发 展 ， 电 网 规模 也 日 益 扩 大 ， 然 而 与 之 相 矛 盾 的 是 用 户 侧 与 电网 侧 的 信息 不 对 等 。 在 当前 
传统 电网 向 注重 信息 互动 的 智能 电网 转变 的 真空 期 内 ， 急 需 解 决 的 是 电力 企业 与 公众 沟通 
互动 的 问题 。 

2) 移动 智能 终端 的 发 展 

移动 智能 终端 是 指 具有 操作 系统 ， 使 用 宽带 无 线 移动 通信 技术 实现 互联 网 接 入 ， 能 够 
通过 下 载 、 安 装 应 用 软件 和 数字 内 容 为 用 户 提供 服务 的 移动 终端 产品 。 它 通常 具备 四 大 特 
征 : 一 是 具备 高 速 接 入 网 络 的 能 力 ，4G/WiFi 等 无 线 接 入 技术 的 发 展 ， 使 无 线 高 速 数据 传 
输 成 为 可 能 ， 移 动 智能 终端 可 方便 地 接 入 到 互联 网 ， 二 是 具备 开放 的 、 可 扩展 的 操作 系 
统 平台 ， 这 个 操作 系统 平台 能 够 在 用 户 使 用 过 程 中 灵活 地 安装 和 镍 载 来 自 第 三 方 的 各 种 
应 用 程序 和 数字 内 容 ， 承 载 更 多 应 用 服务 ， 从 而 使 终端 的 功能 可 以 得 到 灵活 扩展 ; 三 是 
具备 较 强 的 处 理 能 力 ， 当 前 的 移动 智能 终端 在 硬件 上 已 具有 快速 的 处 理 速度 ， 可 以 实现 
复杂 的 处 理 功 能 ， 随 着 芯片 技术 的 发 展 ， 终 端 处 理 能 力 还 将 持续 提升 ， 四 是 拥有 丰富 的 
人 机 交互 方式 ， 触 摸 屏 、 语 音 识 别 、 传 感 输入 等 交互 技术 使 得 终端 的 操作 和 应 用 更 加 便 
捷 和 智能 。 

智能 化 是 当今 移动 通信 终端 共同 的 发 展 方向 。 移 动 通信 终端 技术 的 发 展 主要 是 在 硬 
件 、 软 件 和 UI 人 机 交互 界面 三 个 方面 。 我 国 各 大 中 型 企业 纷纷 在 这 三 个 方面 不 懈 努 力 研 究 
并 取得 了 可 喜 的 成 绩 ， 通 过 对 比 统计 数据 发 现 ，2015 年 期 间 流 行 的 智能 手机 的 配置 及 功能 
相当 于 2010 年 的 台式 电脑 。 可 见 ， 将 电脑 化 为 掌上 宝 的 目标 已 经 慢 慢 实现 了 ， 移 动 终 端 逐 
渐 实 现 了 个 人 电脑 的 功能 和 特征 。 如 今 ， 移 动 通信 终端 已 经 成 为 人 们 日 常生 活 必 不 可 少 的 
设备 之 一 。 

3) 微 信 企 业 号 

微 信 企 业 号 不 同 于 微 信 订 阅 号 和 服务 号 ， 它 是 单独 独立 出 来 的 一 个 服务 类 型 。 企 业 号 
的 推出 ， 将 和 订阅 号 和 服务 号 形成 三 足 鼎 立 之 势 。 微 信 企 业 号 针对 性 特别 强 ， 它 是 微 信 为 
企业 员工 或 合作 伙伴 提供 的 一 项 专门 服务 ， 方 便 了 企业 和 合作 伙伴 的 相对 服务 。 而 且 最 重 
要 的 一 点 是 微 信 企 业 号 开通 后 ， 群 发 消息 的 次 数 不 受 限制 。 

微 信 企 业 号 突出 的 特点 是 在 关注 上 更 安全 ， 应 用 配置 上 更 便捷 ， 极 大 地 保证 了 安全 性 
和 便捷 性 。 因 为 企业 号 只 有 企业 通信 录 成 员 才 能 关注 ， 所 以 确保 了 企业 的 信息 安全 。 同 时 
一 个 微 信 企 业 号 可 配置 多 个 类 似 服务 号 的 应 用 ， 再 加 上 发 送 次 数 不 受 限制 ， 信 息 的 传播 达 
到 了 最 大 化 。 

已 经 建设 了 IT 系统 的 大 企业 ， 可 直接 将 现 有 IT 系统 接 入微 信 企业 号 ， 这 样 既 保 留 了 用 
户 的 PC 端 使 用 习惯 ， 又 快速 实现 了 企业 应 用 的 移动 化 。 另 一 方面 ， 对 于 中 小 型 企业 ， 开 
通 微 信 企业 号 可 直接 利用 微 信 及 公众 号 的 基础 能 力 ， 加 强 员工 的 沟通 与 协同 ， 提 升 企业 文 
化 建设 、 公 告 通知 、 知 识 管理 等 各 方面 的 能 力 。 

在 企业 场景 应 用 上 ， 微 信 企 业 号 有 了 新 的 突破 ， 能 让 员工 无 边界 办 公 ， 通 过 员工 随身 
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携带 的 移动 端 实现 无 纸 化 办 公 ， 既 提高 办 事 效 率 ， 又 人 性 化 地 降低 了 行政 管理 成 本 ， 让 工 
作 流 程 变 得 更 高 效 。 

在 开发 接口 方面 ， 微 信 企 业 号 提供 了 更 为 完备 的 能 力 ， 逐 步 开 放 微 信 原 生 能 力 ， 实 现 
端 到 端 全 流程 的 闭环 管理 。 结 合 微 信 已 经 开放 的 接口 能 力 ， 微 信 企 业 号 还 可 使 用 微 信和 原生 
的 拍照 、 扫 码 、 开 放 平台 的 语音 识别 、 图 像 识 别 的 接口 与 服务 、 微 信 支 付 、 企 业 红包 接口 
等 功能 ， 带 给 企业 更 为 快速 、 多 元 化 的 移动 化 办 公 解 决 方案 。 

企业 号 的 到 来 ， 确 实 会 为 企业 创造 无 形 的 价值 利益 ， 主 要 表现 在 两 方面 : 一 是 企业 号 
与 微 信 现 有 的 使 用 体验 保持 一 致 ， 能 够 快速 部 署 ， 并 且 实 现 了 企业 应 用 移动 化 ， 应 用 活跃 
度 高 ， 同 时 能 够 快速 移动 办 公 ， 二 是 企业 号 直接 与 企业 原 有 IT 系统 对 接 ， 降 低 了 第 三 方 开 
发 成 本 ， 大 大 为 企业 节约 成 本 。 


3. 系统 结构 与 功能 


通过 基于 微 信 公 众 服 务 平台 专属 设计 的 电力 “ 微 生 活 ”智能 公众 服务 应 用 ， 各 部 分 所 
需 实现 的 功能 如 下 : 

1) 信息 推送 

向 用 户主 动 推送 企业 优质 服务 、 用 电 常 识 、 安 全 用 电 、 天 气 预报 等 信息 。 

向 用 户主 动 推送 停电 计划 公告 ， 还 可 以 结合 地 图 等 应 用 ， 显 示 停 电 的 范围 。 

可 定时 主动 推送 上 月 电费 账单 至 用 户 端 。 欠 费 红色 预警 提示 : 用 户 持续 不 缴费 ， 欠 费 
停电 前 预警 提示 。 

向 用 户 进行 企业 文化 展示 和 推送 展示 。 

2) 自助 查询 

用 户 可 自助 查询 网 点 分 布 ， 结 合 导航 系统 可 以 帮助 客户 通过 最 佳 路 径 找到 最 近 的 电力 
营业 网 点 。 

用 户 可 自助 查询 用 户 信息 ， 用 电信 息 查询 (包括 用 电量 、 电 费 ) 可 以 结合 报表 查看 一 
段 时 间 内 的 用 电 曲线 、 缴 费 记录 查询 等 。 

用 户 可 自助 查询 业务 办 理 流程 以 及 相关 提示 ， 引 导 客 户 到 具体 的 相关 部 门 去 办 理 
业务 。 

用 户 可 自助 查询 停电 时 间 、 区 域 、 复 电 时 间 等 内 容 。 

3) 充值 缴费 

用 户 缴费 ， 电 力 微 生 活 应 用 实现 了 微 信 支付 功能 ， 用 户 在 智能 设备 上 的 客户 端 可 通过 
本 功能 使 用 微 信 支付 轻松 完成 电费 缴纳 。 也 可 以 通过 第 三 方 支付 平台 完成 电费 缴纳 ， 如 支 
付 宝 支 付 、 银 联 支付 或 个 人 安全 应 用 支付 。 

写 卡 购 电 : 结合 电力 微 生 活 智 能 应 用 ， 用 户 通 过 手机 微 信 支付 ， 使 用 专属 设计 “ 购 电 
掌上 通 ”， 即 可 采用 耳机 或 蓝牙 接口 与 手机 、 移 动 智 能 设备 连接 ， 实 现 购 电 卡 读 写 ， 完 美 
地 解决 传统 的 购 电 渠道 限制 ， 随 时 购 电 写 卡 。 


基于 大 数据 的 智慧 电网 技术 


4) 自助 应 答 

自助 客服 可 以 根据 用 户 提 出 的 关键 字 引导 用 户 自己 找到 常见 问题 的 解决 方法 。 

自助 客服 可 以 引导 用 户 进行 相关 业务 的 办 理 。 

自助 客服 可 以 引导 用 户 准 备 业务 办 理 材 料 。 

云 计算 、 移 动 互 联 的 发 展 ， 正 颠覆 着 整个 IT 产业 。 人 们 希望 利用 碎片 化 的 时 间 ， 随 时 
随地 享受 更 多 服务 。 与 企业 发 展 、 人 们 生活 密切 相关 的 企业 软件 ， 却 因 腾 肿 庞大 的 体系 架 
构 ， 在 应 用 碎片 化 、 业 务 创新 上 显得 力不从心 ， 技 术 困 难 也 颇 多 。 

在 基础 软件 开发 领域 有 着 多 年 研发 经 验 的 普 元 软件 ， 针 对 企业 软件 面临 的 这 一 问题 ， 
提出 了 “ 微 应 用 + 大 平台 ”的 企业 架构 模式 。 

该 企业 架构 模式 可 帮助 企业 开发 出 小 核心 、 大 外 围 的 软件 系统 。 它 将 大 型 软件 系统 按 
业务 进行 划分 ， 每 个 业务 可 独立 开发 为 小 系统 ， 提 供 特定 的 服务 。 将 核心 、 复 杂 的 业务 模 
块 以 组 件 形式 封装 到 平台 中 ， 企 业 软 件 开发 者 就 可 以 在 该 平台 的 基础 上 自 定义 组 装 业务 流 
程 ， 开 发 出 更 多 碎片 化 、 个 性 化 的 微 应 用 。 依 此 架构 模式 ， 普 元 软件 已 帮助 多 家 企业 客 
户 〈 尤 其 是 银行 客户 ) 以 微 应 用 的 方式 向 用 户 提供 服务 ， 且 响应 速度 较 之 前 有 了 很 大 
提升 。 

移动 互联 网 时 代 ， 企 业 要 想 灵 活 应 对 各 种 业务 需求 ， 其 软件 系统 必须 “ 碎 ”。 基 于 这 
些 “碎片 ”， 可 以 快速 推出 任何 新 的 应 用 。 正 如 乐高 玩具 一 样 ， 每 个 碎片 都 很 简单 ， 但 却 
可 以 构建 出 庞大 、 复 杂 的 造型 。 

过 去 的 企业 软件 主要 面向 系统 企业 ， 比 如 人 力 资源 系统 、 财 务 系统 等 。 而 现在 的 企业 
软件 则 要 面向 用 户 。 企 业 中 的 每 个 员工 都 是 用 户 ， 他 们 参与 的 工作 内 容 各 有 不 同 ， 平 均 参 
与 企业 里 某 个 业务 中 的 三 五 个 流程 。 如 何 帮 助 企业 打造 大 量 微 应 用 ， 让 用 户 在 移动 端 通过 
指 端 顺畅 、 简 单 、 随 时 随地 完成 这 些 “ 短 流程 ”， 是 当前 要 努力 的 重要 方向 。 

2016 年 11 月 9 日 ， 国 网 河南 省 电力 公司 召开 电网 云 GIS 平 台 〈 简 称 SG-GIS2.0) 微 应 用 
开发 实施 启动 会 ， 标 志 着 该 公司 电网 资产 地 理 信 息 进入 云 计 算 大 数据 阶段 。 

作为 国家 电网 公司 SG-GIS2.0 平 台 试点 单位 之 一 ， 国 网 河南 电力 遵循 公司 自主 创新 的 
建设 思路 ， 借 助 智能 互联 网 ， 基 于 成 熟 的 云 计算 技术 ， 结 合 该 公司 电网 GIS 营 销 业 务 应 用 
实际 ， 开 发 营销 重要 客户 智能 管理 、 供 电 服 务 指挥 管理 、 理 论 线 损 计算 的 微 应 用 ， 提 升 电 
网 GIS 平 台 应 用 能 力 。 国 网 河南 电力 SG-GIS2.0 平 台 构建 了 云 GIS 资 源 管理 中 心 、 云 服务 中 
心 、 云 存储 中 心 三 大 中 心 ， 建 立 了 电网 云 GIS 安 全 管理 体系 ， 解 决 电网 信息 化 在 海量 数据 
的 存储 分 发 、 超 大 规模 并 发 访问 、 大 数据 分 析 及 时 空 数 据 管理 等 应 用 问题 ， 为 智能 电网 建 
设 提 供 有 力 支撑 。 该 平台 不 仅 能 满足 国 网 河南 电力 各 业务 部 门 业务 需 求 ， 而 且 为 各 专业 人 
员 提供 精准 的 电网 设备 空间 信息 。 该 平台 高 清 的 可 视 化 效果 与 高 效 的 智能 统计 分 析 能 力 ， 
可 以 为 停电 检修 、 减 少 计 划 停 电 损失 、 提 高 故障 抢修 效率 和 供电 服务 质量 提供 重要 参考 ， 
持续 提升 供电 优质 服务 水 平 。 
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7.5 ”电网 大 数据 与 人 工 智能 


“人 工 智 能 (Artificial Intelligence，AI) ”一 词 最 初 是 在 1956 年 Dartmouth 学 会 上 提出 
的 。 从 那 以 后 ， 研 究 者 们 发 展 了 众多 理论 和 原理 ， 人 工 智能 的 概念 也 随 之 扩展 。 人 工 智能 
是 研究 、 开 发 用 于 模拟 、 延 伸 和 扩展 人 的 智能 的 理论 、 方 法 、 技 术 及 应 用 系统 的 一 门 新 的 
技术 科学 。 人 工 智能 是 计算 机 科学 的 一 个 分 支 ， 它 企图 了 解 智能 的 实质 ， 并 生产 出 一 种 新 
的 能 以 人 类 智能 相似 的 方式 做 出 反应 的 智能 机 器 ， 该 领域 的 研究 包括 机 器 人 、 语 言 识别 、 
图 像 识别 、 自 然 语言 处 理 和 专家 系统 等 。 人 工 智 能 从 诞生 以 来 ， 理 论 和 技术 日 益 成 熟 ， 应 
用 领域 也 不 断 扩大 ， 可 以 设想 ， 未 来 人 工 智能 带 来 的 科技 产品 ， 将 会 是 人 类 智慧 的 “ 容 
器 ”。 人 工 智 能 是 对 人 的 意识 、 思 维 的 信息 过 程 的 模拟 。 人 工 智 能 不 是 人 的 智能 ， 但 能 像 
人 那样 思考 ， 也 可 能 会 超过 人 的 智能 。 

人 工 智 能 的 定义 可 以 分 为 两 部 分 ， 即 “人 工 ” 和 “智能 ”。“ 人 工 ” 比 较 好 理解 ， 争 
议 性 也 不 大 。 有 了 时 我 们 会 要 考虑 什么 是 人 力所能及 制造 的 ， 或 者 人 自身 的 智能 程度 有 没有 
高 到 可 以 创造 人工 智能 的 地 步 ， 等 等 。 但 总 的 来 说 ，“ 人 工 系统 ”就 是 通常 意义 下 的 人 工 
系统 。 

关于 “智能 ”的 概念 ， 这 涉及 其 他 诸如 意识 (Consciousness) 、 自 我 (Self) 、 思 维 
(Mind) (包括 无 意识 的 思维 (Unconscious Mind) ) 等 问题 。 人 唯一 了 解 的 智能 是 人 本 
身 的 智能 ， 这 是 普遍 认同 的 观点 。 但 是 我 们 对 我 们 自身 智能 的 理解 非常 有 限 ， 对 构成 人 的 
智能 的 必要 元 素 也 了 解 有 限 ， 所 以 就 很 难 定义 什么 是 “人工” 制造 的 “智能 ”了 。 因 此 人 
工 智能 的 研究 往往 涉及 对 人 的 智能 本 身 的 研究 。 其 他 关于 动物 或 其 他 人 造 系统 的 智能 也 普 
遍 被 认为 是 人 工 智能 相关 的 研究 课题 。 

人 工 智能 在 计算 机 领域 内 得 到 了 愈加 广泛 的 重视 ， 并 在 机 器 人 、 经 济 政治 决策 、 控 制 
系统 、 仿 真 系统 中 得 到 应 用 。 

著名 的 美国 斯 坦 福 大 学 人 工 智能 研究 中 心 尼 尔 逊 教授 对 人 工 智 能 下 了 这 样 一 个 定义 : 
“人 工 智 能 是 关于 知识 的 学 科 一 一 怎样 表示 知识 以 及 怎样 获得 知识 并 使 用 知识 的 科学 。” 
而 美国 麻 省 理工 学 院 的 温 斯 顿 教授 认为 : “人 工 智能 就 是 研究 如 何 使 计算 机 去 做 过 去 只 有 
人 才能 做 的 智能 工作 。” 这 些 说 法 反映 了 人 工 智能 学 科 的 基本 思想 和 基本 内 容 。 即 人 工 智 
能 是 研究 人 类 智能 活动 的 规律 ， 构 造 具有 一 定 智 能 的 人 工 系统 ， 研 究 如 何 让 计算 机 去 完成 
以 往 需 要 人 的 智力 才能 胜任 的 工作 ， 也 就 是 研究 如 何 应 用 计算 机 的 软 硬 件 来 模拟 人 类 某 些 
智能 行为 的 基本 理论 、 方 法 和 技术 。 

人 工 智能 的 传说 可 以 追溯 到 古 埃 及 ， 但 随 着 1941 年 以 来 电子 计算 机 的 发 展 ， 技 术 已 
最 终 可 以 创造 出 机 器 智能 。“ 人 工 智能 ” (Artificial Intelligence) 一 词 最 初 是 在 1956 年 
Dartmouth 学 会 上 提出 的 ， 从 那 以 后 ， 研 究 者 们 发 展 了 众多 理论 和 原理 ， 人 工 智 能 的 概念 
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也 随 之 扩展 ， 在 它 还 不 长 的 历史 中 ， 人 工 智 能 的 发 展 比 预想 的 要 慢 ， 但 一 直 在 前 进 ， 从 40 
年 前 出 现 至 今 ， 已 经 出 现 了 许多 AI 程序 ， 并 且 它 们 也 影响 到 了 其 他 技术 的 发 展 。 

“智能 电网 大 数据 是 电力 系统 和 相关 领域 数据 的 有 机 融合 ， 是 一 系列 对 数据 处 理应 用 
的 理论 、 方 法 与 技术 ， 是 一 种 对 规律 的 全 新 认识 论 和 价值 蔡 取 思想 。” 中 国 工程 院 院士 、 
中 国电 科 院 院 长 郭 剑 波 在 会 上 提出 了 对 智能 电网 大 数据 的 认识 ， 他 表示 ， 智 能 电网 大 数据 
的 应 用 将 实现 割裂 的 数据 资源 向 有 效 的 数据 资产 转化 ， 支 撑 更 全 面 的 分 析 、 更 准确 的 预测 
及 更 具 价值 的 决策 支持 。 

中 国 科学 院 周 孝 信 院士 指出 ， 我 国 能 源 转型 的 目标 是 建设 清洁 低 碳 、 安 全 高 效 、 可 持 
续 发 展 的 新 一 代 能 源 系 统 。 大 数据 及 传 感 、 信 息 、 通 信 等 技术 的 应 用 ， 将 会 对 未 来 能 源 电 
力 系 统 的 系统 形态 、 运 行 调度 和 市 场 交易 模式 产生 重大 影响 。 

对 于 大 数据 在 智能 电网 中 的 应 用 ， 中 国电 科 院 的 专家 认为 ， 原 有 的 基于 物理 模型 的 分 
析 方 法 难以 满足 需求 ， 数 据 驱动 的 方法 将 发 挥 重 要 作用 。 当 前 ， 电 网 智能 化 引发 了 内 部 数 
据 的 激增 ， 智 能 电网 各 个 环节 产生 了 大 量 的 高 密度 、 高 价值 的 多 维 多 系 统 数据 。 因 而 ， 大 
数据 未 来 将 在 智能 电网 中 发 挥 重要 作用 。 智 能 电网 具有 开放 性 、 不 确定 性 和 普遍 关联 性 ， 
大 数据 能 够 以 全 量 数 据 来 反映 整个 电网 系统 的 特征 ， 提 供 全 景 和 全 过 程 的 研究 视角 。 在 大 
数据 技术 的 支撑 下 ， 智 能 电网 将 具备 主动 预测 、 主 动 配置 、 主 动 维修 以 及 基于 互联 网 的 主 
动 营销 等 能 力 。 

大 数据 应 用 可 以 分 为 5 个 阶段 。 第 一 阶段 是 完成 数据 抽取 与 整合 。 这 个 阶段 需要 将 不 
同 的 数据 在 数据 源 和 时 间 片 段 上 进行 统一 的 整合 与 处 理 。 第 二 阶段 是 统计 分 析 ， 即 从 不 同 
的 时 间 、 维 度 、 颗 粒度 等 方面 进行 规律 的 总 结 和 业务 解读 ， 这 是 大 数据 应 用 的 初级 阶段 ， 
而 完成 了 这 两 个 阶段 以 后 ， 就 可 以 对 大 数据 业务 和 问题 进行 解读 。 第 三 阶段 是 对 大 数据 的 
深度 分 析 ， 从 数据 出 发 ， 利 用 机 器 学 习 等 技术 挖掘 数据 潜在 的 关联 特征 ， 找 寻 业 务 规律 。 
第 四 阶段 是 业务 建 模 ， 把 业务 的 模型 转化 为 数据 模型 ， 最 终 转变 为 数学 模型 。 第 五 阶段 是 
数据 模型 的 固化 ， 即 模型 的 系统 化 ， 将 分 析 思 路 和 业务 系统 进行 对 接 ， 最 终 形成 一 套 固化 
的 大 数据 分 析 系 统 。 

电力 行业 如 何 更 好 地 引入 大 数据 ? 大 数据 和 人 工 智能 技术 已 经 在 一 些 行业 得 到 了 应 
用 ， 然 而 对 于 电力 行业 而 言 ， 如 何 真 正 发 挥 大 数据 的 价值 还 是 一 个 值得 探索 的 问题 。 大 数 
据 思 维 提倡 的 不 仅仅 是 共享 ， 还 包括 科学 研究 范式 之 间 的 协调 。 在 以 因果 分 析 为 主导 的 电 
力 系统 中 ， 应 用 大 数据 可 辅助 传统 的 模型 驱动 方法 。 

大 数据 不 仅仅 是 技术 ， 更 是 一 种 思维 和 方法 ， 电 力 大 数据 需要 将 “用 大 数据 说 话 、 用 
大 数据 决策 、 用 大 数据 管理 、 用 大 数据 创新 ”的 理念 融合 到 行业 实践 中 ， 充 分 利用 大 数据 
思想 ， 在 原 有 传统 统计 思想 的 基础 上 扩展 因果 关系 、 相 关 关系 等 分 析 思 路 ， 将 大 数据 和 生 
产 实际 、 业 务 需 求 紧密 结合 起 来 ， 从 而 产生 更 大 的 价值 。 

面 对 众 多 复杂 和 不 确定 的 变化 、 互 动 与 主动 的 需求 ， 电 网 需要 快速 提升 实时 感知 、 高 
速 通信 和 快速 响应 能 力 ， 建 立 一 套 智能 化 体系 来 应 对 冲击 和 挑战 。 科 学 发 展 将 有 力 地 带动 
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大 数据 的 发 展 和 应 用 ， 机 器 学 习 、5G 通 信 、 无 人 驾驶 、AlphaGo 和 下 一 代 搜 索 等 全 球 科技 
热点 都 是 基于 数据 的 感知 、 传 递 、 计 算 、 学 习 ， 都 离 不 开 大 数据 的 支撑 。 大 电网 互联 的 稳 
定 、 新 能 源 消 纳 和 广泛 接 入 ， 以 及 开放 的 市 场 交 易 机 制 和 互动 要 求 都 将 拉动 电力 行业 对 大 
数据 技术 应 用 的 需求 ， 推 动 共享 利用 、 质 量 提升 、 融 合 统一 、 分 析 挖 掘 等 电力 大 数据 关键 
领域 实现 突破 。 


7.6 ”电网 大 数据 与 工业 4.0 


工业 4.0 是 德国 政府 提出 的 一 个 高 科技 战略 计划 。 该 项 目 由 德国 联邦 教育 局 及 研究 部 
和 联邦 经 济 技术 部 联合 资助 ， 投 资 预计 达 2 亿 欧元 。 旨 在 提升 制造 业 的 智能 化 水 平 ， 建 立 
具有 适应 性 、 资 源 效率 及 人 因 工 程 学 的 智慧 工厂 ， 在 商业 流程 及 价值 流程 中 整合 客户 及 商 
业 伙 伴 。 其 技术 基础 是 网 络 实体 系统 及 物 联网 。 

德国 所 谓 的 工业 四 代 〈Industry 4.0) 是 指 利用 物 联 信息 系统 (Cyber-Physical System， 
CPS) 将 生产 中 的 供应 、 制 造 和 销售 信息 数据 化 、 智 慧 化 ， 最 后 达到 快速 、 有 效 、 个 人 化 
的 产品 供应 。 

工业 4.0 已 经 进入 中 德 合 作 新 时 代 ， 中 德 双 方 签署 的 《中 德 合作 行动 纲要 》 中 ， 有 关 
工业 4.0 合 作 的 内 容 共 有 4 条 ， 第 一 条 就 明确 提出 工业 生产 的 数字 化 也 就 是 “工业 4.0”， 
对 未 来 中 德 经 济 发 展 具有 重大 意义 。 双 方 认为 ， 两 国政 府 应 为 企业 参与 该 进程 提供 政策 
支持 。 

工业 4.0 有 一 个 关键 点 ， 就 是 “原材料 〈 物 质 ) ”=“ 信 息 ”。 具 体 来 讲 ， 就 是 工厂 
内 采购 来 的 原材料 ， 被 “ 贴 上 ”一 个 标签 : 这 是 给 A 客户 生产 的 XX 产品 ，XX 项 工艺 中 的 
原材料 。 准 确 来 说 ， 是 智能 工厂 中 使 用 了 含有 信息 的 “原材料 ”， 实 现 了 “原材料 〈 物 
质 ) ”=“ 信 息 ”， 制 造 业 终 将 成 为 信息 产业 的 一 部 分 ， 所 以 工业 4.0 将 成 为 最 后 一 次 工业 
革命 。 

按照 我 们 对 工业 4.0 的 任务 ， 一 般 工业 4.0 可 分 为 四 重 天 。 


7.6.1 工业 4.0 第 一 重 天 一 一 智能 生产 


生产 设备 和 管理 信息 系统 各 自 连 接 起 来 ， 并 且 设备 和 信息 系统 之 间 也 连接 起 来 之 后 ， 
接 下 来 就 是 将 生产 的 原材料 和 生产 设备 连接 起 来 。 

这 个 时 候 就 要 用 到 RFID 〈 射 频 识 别 技术 ) 。 射 频 识别 技术 简单 来 说 相当 于 一 个 二 维 
码 ， 可 以 自 带 一 些 信息 ， 并 且 可 以 进行 无 线 通信 。 

举例 来 说 ， 在 百事 可 乐 的 生产 车 间 里 ， 生 产 线 上 连续 过 来 三 个 瓶子 ， 每 个 瓶子 都 自 带 
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一 个 二 维 码 ， 里 面 记录 着 这 是 为 张 三 、 李 四 和 王 二 麻子 定制 的 可 乐 。 

当 第 一 个 瓶子 来 到 灌 装 处 时 ， 通 过 二 维 码 的 无 线 通信 通知 中 控 室 的 控制 器 : “ 张 三 
喜欢 甜 一 点 的 ， 多 放 糖 ”， 然 后 控制 器 就 通知 灌 装 机 器 手 : “加 二 斤 白 糖 ! ”〈 张 三 真 倒 
霉 .……) 。 

第 二 个 瓶子 过 来 ， 给 控制 器 的 信息 是 : “ 李 四 是 糖尿 病 ， 不 要 糖 ”， 控 制 器 就 通知 机 
器 手 : “不 放 糖 ! ” 

第 三 个 瓶子 给 的 指令 是 : “ 王 二 麻子 要 的 是 芬 达 ”， 控 制 器 就 通知 灌 可 乐 的 机 械 手 休 
息 ， 再 通知 灌 芬 达 的 机 械 手 工作 。 

从 上 面 的 场景 可 以 看 到 ， 多 品种 、 小 批量 的 定制 生产 得 以 实现 每 一 炙 可 乐 从 你 在 网 上 
下 单 的 那 一 刻 起 ， 他 就 是 为 你 定制 的 ， 他 所 有 的 特性 ， 都 符合 你 的 喜好 。 

这 就 是 智能 生产 。 


7.6.2 工业 4.0 第 二 重 天 一 一 智能 产品 


生产 的 过 程 智能 化 了 ， 作 为 成 品 的 工业 产品 ， 也 同样 可 以 智能 化 ， 例 如 智能 手 环 、 智 
能 自行 车 、 智 能 跑鞋 等 智能 硬件 。 智 能 产品 就 是 把 产品 作为 一 个 数据 采集 端 ， 不 断 采集 用 
户 的 数据 并 上 传 到 云端 去 ， 方 便 用 户 进行 管理 。 

德 、 美 工业 4.0 和 工业 互联 网 的 核心 分 歧 之 一 ， 就 是 先 建 智能 工厂 ， 还 是 先 研发 智能 
产品 。 德 国 希望 是 前 者 ， 美 国 希望 是 后 者 。 


7.6.3 工业 4.0 第 三 重 天 一 一 生产 服务 化 


在 很 多 年 前 ， 西 门 子 就 提出 来 向 服务 收费 ， 当 时 很 多 人 认为 这 是 很 不 现实 的 决定 ， 但 
是 现在 看 来 ， 在 若干 年 前 德国 就 已 经 开始 为 工业 4.0 的 生产 服务 化 布局 了 。 你 对 西门 子 的 
印象 是 什么 ? 冰箱 ? 你 错 了 。 西 门 子 这 些 年 已 经 悄然 并 购 了 多 家 著名 的 软件 公司 ， 成 为 了 
仅 次 于 SAP 的 欧洲 第 二 大 软件 公司 。 

这 个 服务 是 什么 ? 比如 西门 子 生产 一 台 高 铁 的 牵引 电机 ， 以 往 就 是 直接 卖 一 台电 机 而 
已 ， 现 在 这 台电 机 在 运行 过 程 中 ， 会 不 断 地 把 数据 传 回 给 西门 子 的 工厂 ， 这 样 西 门 子 就 知 
道 你 的 电机 现在 的 运行 状况 ， 以 及 什么 时 候 需 要 检修 了 。 高 铁 厂商 以 往 的 做 法 是 一 刀 切 ， 
到 规定 时 间 不 管 该 不 该 修 都 去 修 ， 跟 我 们 给 汽车 做 保养 没什么 差别 。 现 在 西门 子 可 以 告诉 
你 什么 时 候 需要 修 ， 什 么 时 候 需 要 养护 ， 你 要 想 知道 ， 就 需要 付费 。 

再 举 个 例子 ， 智 能 汽车 实现 后 ， 每 一 辆 汽车 都 会 通过 不 断 采集 周边 的 数据 来 决定 其 行 
驶 路 线 ， 整 个 运输 系统 会 完全 服务 化 ， 任 何人 都 不 需要 再 买 车 ， 也 许 有 一 天 自己 开车 会 成 
为 严重 的 违法 行为 ， 因 为 设备 是 智能 的 ， 而 人 却 是 不 可 控 的 。 

在 这 个 阶段 ， 所 有 的 生产 厂商 都 会 向 服务 商 转型 。 
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7.6.4 工业 4.0 第 四 重 天 一 一 云 工厂 


当 工 厂 的 两 化 融合 进一步 深入 的 时 候 ， 另 一 种 新 的 商业 模式 孕育 而 生 ， 这 就 是 云 
站 

工厂 里 的 设备 智能 化 后 ， 它 们 不 断 地 采集 自己 的 数据 上 传 到 工业 互联 网 上 ， 此 时 管理 
者 就 可 以 看 到 ， 哪 些 工厂 的 哪些 生产 线 正 在 满 负 荷 运转 ， 哪 些 是 有 空闲 的 。 这 些 存在 空闲 
的 工厂 ， 就 可 以 出 卖 自己 的 生产 能 力 ， 为 其 他 需要 的 人 去 进行 生产 。 

互联 网 行业 之 所 以 发 展 得 这 么 快 ， 就 是 因为 创业 者 只 需要 专注 于 产品 和 模式 创新 ， 而 
不 需要 自己 去 买 一 个 服务 器 ， 直 接 租 用 云端 的 服务 就 行 了 。 目 前 工业 的 创业 者 ， 还 是 要 不 
断 地 纠结 于 找 OEM 代 工 还 是 自 建 工厂 中 ， 这 极 大 地 限制 了 工业 领域 的 创新 。 当 云 工厂 实 
现 的 时 候 ， 可 以 预言 中 国 的 工业 领域 将 出 现 一 个 比 互联 网 大 百倍 的 创新 和 创业 浪潮 ， 这 个 
社会 的 一 切 都 将 被 深刻 地 改变 。 

“工业 4.0 概 念 表示 第 四 次 工业 革命 ， 它 意味 着 在 产品 生命 周期 内 对 整个 价值 创造 链 
的 组 织 和 控制 迈 上 新 台阶 ， 意 味 着 从 创意 、 订 单 ， 到 研发 、 生 产 、 终 端 客户 产品 交付 ， 再 
到 废物 循环 利用 ， 包 括 与 之 紧密 联系 的 各 服务 行业 ， 在 各 个 阶段 都 能 更 好 地 满足 日 益 个 性 
化 的 客户 需求 。” 

更 进一步 ， 德 国 工 业 4.0 平 台 亲 释 了 工业 4.0 概 念 的 价值 ， 它 指出 ， 所 有 参与 价值 创造 
的 相关 实体 形成 网 络 ， 获 得 随时 从 数据 中 创造 最 大 价值 流 的 能 力 ， 从 而 实现 所 有 相关 信息 
的 实时 共享 。 以 此 为 基础 ， 通 过 人 、 物 和 系统 的 连接 ， 实 现 企业 价值 网 络 的 动态 建立 、 实 
时 优化 和 自 组 织 ， 根 据 不 同 的 标准 对 成 本 、 效 率 和 能 耗 进行 优化 。 

由 此 可 见 ， 德 国 对 工业 4.0 的 定义 是 比较 清晰 的 ， 对 工业 4.0 在 工业 革命 史 中 的 阶段 有 
比较 明确 的 划分 ， 同 时 也 对 工业 4.0 阶 段 的 价值 创造 过 程 有 较为 深入 的 分 析 ， 因 此 ， 工 业 
4.0 概 念 是 一 个 较为 完备 的 体系 。 

作为 新 一 轮 的 工业 革命 ， 工 业 4.0 时 代 跟 前 三 次 工业 革命 不 同 的 地 方 是 网 络 化。 由 于 
在 生产 制造 核心 价值 创造 环节 大 量 采用 了 网 络 化 技术 ， 原 有 的 价值 创造 体系 将 发 生 革命 性 
改变 ， 从 而 促使 整个 社会 技术 体系 产生 变革 。 这 是 第 四 次 工业 革命 存在 的 证 据 和 理由 。 

互联 网 技术 在 人 们 消费 领域 的 应 用 ， 导 致 了 人 们 的 生活 发 生 了 翻天 履 地 的 变化 ， 特 别 
是 在 中 国 ， 大 量 的 用 户 使 用 电子 商务 、 即 时 通信 和 移动 应 用 等 互联 网 产品 及 服务 ， 大 大 改 
变 了 人 们 的 传统 生活 形态 。 可 以 预想 ， 如 果 互 联网 技术 在 生产 制造 领域 得 到 充分 利用 ， 将 
对 人 们 的 生活 产生 巨大 的 改变 。 

人 口 仅 为 8500 万 ， 面 积 仅 为 两 个 广东 一 样 大 的 德国 ， 缺 乏 中 国 这 样 的 一 体 化 大 规模 市 
场 ， 难 以 推动 互联 网 技术 在 德国 人 生活 中 的 深度 应 用 ， 但 由 于 德国 的 制造 业 非常 发 达 ， 具 
有 很 好 的 应 用 新 技术 的 环境 ， 因 此 ， 德 国 工业 4.0 概 念 提出 之 后 ， 得 到 了 德国 制造 业 的 大 
量 响应 ， 纷 纷 加 入 德国 工业 4.0 平 台 ， 共 同 推动 德国 工业 4.0 的 应 用 。 

从 未 来 制造 业 发 展 的 趋势 来 讲 ， 利 用 CPS 技 术 ， 把 物理 世界 虚拟 化 ， 是 降低 创新 成 本 
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的 最 佳 途径 。 例 如 ， 传 统 汽车 的 制造 过 程 需要 先 设计 出 图 纸 ， 制 作出 模型 汽车 ， 然 后 用 模 
型 汽车 进行 碰撞 等 试验 ， 检 验 设 计 的 效果 ， 这 样 的 流程 花费 的 成 本 比较 高 ， 但 利用 CPS 技 
术 ， 新 设计 的 汽车 可 以 在 模拟 的 测试 环境 中 进行 多 次 试验 ， 而 不 用 担心 汽车 碰撞 实验 中 的 
损坏 ， 这 样 可 以 大 大 降低 成 本 。 

理解 未 来 制造 业 ， 需 要 考虑 网 络 化 技术 给 原 有 的 制造 过 程 带 来 的 变革 。 高 度 网 络 化 在 
多 个 层面 发 生 作 用 ， 它 可 以 在 产业 链 环节 、 车 间 之 间 、 生 产 线 之 间 、 流 水 线 各 环节 以 及 任 
何 物体 之 间 发 生 ， 而 达到 物 与 物 的 连接 ， 则 是 CPS 技 术 发 展 的 最 高 境界 ， 那 就 是 物 联网 。 

工业 4.0 时 代 就 是 第 四 次 工业 革命 ， 它 的 核心 技术 CPS 带 来 的 大 量 连 接 ， 形 成 了 各 种 层 
级 的 网 络 化， 这 将 大 大 改变 现 有 的 生产 制造 流程 ， 从 而 影响 制造 业 的 价值 创造 体系 ， 这 就 
是 第 四 次 工业 革命 最 大 的 趋势 和 特征 。 

经 工业 4.0 研 究 院 考证 ， 中 国 在 1850 年 左右 丧失 了 全 球 制 造 业 大 国 的 地 位 ， 经 过 160 年 
的 时 间 ， 在 2010 年 ， 我 国 经 过 三 十 年 左右 的 工业 化 努力 ， 再 次 夺回 世界 制造 业 大 国 的 地 
位 。 虽然 从 制造 业 产 值 上 讲 ， 中 国 现在 是 全 球 排名 第 一 ， 但 从 制造 业 的 国家 竞争 力 来 讲 ， 
我 们 远 远 落后 于 全 球 制造 业 强 国 。 

正 是 基于 这 样 的 背景 ,《 中 国 制造 2025》 提 出 ,“ 实 施 制 造 强国 战略 ， 加 强 统 筹 规划 和 前 
瞻 部 署 ， 力 争 通 过 三 个 十 年 的 努力 ， 到 新 中 国 成 立 一 百年 时 ， 把 我 国 建设 成 为 引领 世界 制 
造 业 发 展 的 制造 强国 ， 为 实现 中 华 民 族 伟 大 复兴 的 中 国 梦 打下 坚实 基础 。” 

由 于 中 国 工业 化 进程 不 过 三 十 多 年 ， 大 部 分 中 国 制造 企业 缺乏 核心 技术 ， 它 们 主要 通 
过 引进 来 自 美国 、 德 国 和 日 本 等 制造 强国 的 装备 ， 来 加 工 好 产品 销售 给 消费 者 。 由 于 中 
国 还 缺乏 成 熟 的 高 端 装备 产业 ， 在 相当 长 一 段 时 间 内 无 法 改变 继续 引进 制造 强国 装备 的 
现状 。 

在 2015 年 8 月 工信部 人 才 交 流 中 心 举办 的 “德国 工业 4.0 战 略 解读 ”会 议 上 ， 来 自 德国 
电气 电子 制造 协会 的 Klaus Mittelbach 明 确 指出 ， 德 国 就 是 要 利用 “工业 4.0” 去 制造 “中 国 
制造 ” (“Made in China 2025”made by“Industrie 4.0”) ， 可 见 德国 意图 继续 做 中 国 制 
造 的 装备 设备 提供 商 的 目的 很 明确 。 

从 《中 国 制 造 2025》 提 及 的 十 个 领域 来 看 ， 大 部 分 是 中 国企 业 不 具有 核心 技术 的 ， 国 
内 大 部 分 产业 企业 通过 集成 等 方式 提供 相关 产品 及 服务 。 值 得 我 们 警惕 的 是 ， 这 些 产业 涉 
及 大 量 的 核心 技术 研发 ， 而 国内 高 校 和 研究 机 构 相 关 基 础 研究 也 不 到 位 ， 因 此 在 相当 长 一 
段 时 间 ， 国 内 是 缺乏 相关 技术 获取 可 能 的 。 

目前 国内 一 些 制造 大 省 在 大 张 旗 鼓 进行 机 器 换 人 ， 但 涉及 机 器 换 人 的 一 些 自动 化 设 
备 ， 中 国 是 没有 能 力 提供 关键 部 件 的 ， 几 乎 所 有 的 关键 部 件 都 采购 自 国 外 企业 。 在 这 样 的 
格局 下 ， 中 国 制造 缺乏 核心 技术 的 困境 是 无 法 通过 机 器 换 人 获得 缓解 的 ， 相 反 ， 大 量 采 用 
国外 的 自动 化 设备 ， 反 而 让 中 国 制造 业 在 相当 长 一 段 时 间 难 以 投入 资源 去 解决 核心 技术 缺 
乏 的 问题 。 

除 此 之 外 ， 中 国 高 校 和 研究 机 构 对 工业 4.0 相 关 的 基础 科学 和 技术 缺乏 深入 研究 ， 


第 7 章 “电网 大 数据 感知 技术 了 天 天 天天 


《中 国 制造 2025》 要 实现 十 年 的 计划 周期 获得 技术 的 提升 ， 可 能 会 比较 困难 。 例 如 ， 机 
器 人 所 需要 的 基础 学 科 涉及 计算 机 视觉 ， 国 内 大 部 分 就 是 采用 英特尔 提供 的 开源 平台 
OpenCV; 对 于 大 家 热衷 的 3D 打 印 ， 其 操作 系统 也 是 欧洲 提供 的 开源 平台 Arduino。 

因此 ， 对 于 中 国 制 造 的 现状 ， 低 端 产能 过 剩 和 核心 技术 缺乏 是 两 个 突出 的 问题 ， 而 中 
国 制造 企业 经 营 理念 陈旧 ， 缺 乏 对 未 来 制造 业 制高点 的 深刻 认识 ， 将 阻碍 中 国 制 造 的 转型 
升级 顺利 进行 ， 而 要 改变 这 样 的 困境 ， 中 国 制造 企业 必须 认识 到 创新 的 重要 意义 ， 并 切实 
通过 创新 来 形成 新 的 发 展 动力 。 

实事 求 是 地 讲 ， 中 国 制 造 业 是 一 个 缺乏 创新 的 领域 。 由 于 中 国 改革 开放 初期 落后 于 西 
方 工业 化 进程 几 百 年 ， 直 接 模仿 西方 工业 化 是 一 个 较为 经 济 的 选择 。 经 过 三 十 年 的 高 速 发 
展 之 后 ， 中 国 进入 了 简单 模仿 成 效 不 佳 的 状况 ， 这 人 迫使 中 国 制 造 选择 创新 的 道路 。 

按照 创新 的 通常 定义 ， 可 以 把 创新 分 为 技术 创新 、 模 式 创 新 和 管理 创新 。 中 国 制造 企 
业 可 以 根据 实际 情况 ， 通 过 多 方位 的 创新 努力 ， 实 现 中 国 制造 转型 升级 的 宏伟 目标 。 

技术 创新 主要 以 核心 技术 创造 发 明 或 者 工程 技术 应 用 来 体现 ， 这 是 人 类 工业 革命 以 来 
的 最 基本 约束 条 件 ， 也 是 人 类 社会 生产 力 的 直接 体现 。 在 过 去 三 十 多 年 里 ， 中 国 成 为 了 全 
球 的 制造 业 工厂 ， 可 是 ， 美 国 、 德 国 和 日 本 等 装备 制造 强国 却 成 为 了 工厂 的 工厂 〈Factory 
of Factories) ， 也 就 是 说 中 国 制造 企业 的 工厂 使 用 的 装备 设备 ， 大 都 是 国外 企业 提供 的 。 

虽然 中 国 一 直 不 遗 余力 地 发 展 装备 制造 业 ， 甚 至 于 工信部 装备 司 多 年 前 就 提出 了 “ 智 
能 制造 ”的 概念 ， 并 成 为 《中 国 制 造 2025》 文 件 中 的 关键 词 之 一 ， 但 中 国 装备 制造 业 不 强 
是 不 争 的 事实 。 

中 国 装备 制造 业 不 强 ， 与 以 产业 链 创新 布局 的 方式 不 足 有 很 大 关系 。 因 为 目前 全 球 的 
工业 产业 大 都 以 复杂 的 产业 链 形式 存在 ， 如 果 不 从 完整 的 产业 链 角度 去 考虑 ， 是 无 法 避免 
掌握 的 技术 竞争 优势 不 强 的 困境 的 ， 这 也 就 不 能 持续 地 进行 技术 革新 。 

中 国 高 铁 之 所 以 可 以 称 为 中 国 制造 的 名 片 ， 当 初 引 入 国外 技术 的 时 候 ， 从 整个 产业 链 
考虑 创新 ， 是 当时 最 为 正确 的 决策 ， 而 与 之 相反 的 是 中 国 汽车 业 ， 由 于 各 地 政府 忙于 引进 
汽车 企业 提升 GDP， 而 忽略 了 全 产业 链 的 技术 创新 布局 ， 因 此 即便 中 国 汽车 业 增 长 迅速 ， 
中 国 自 主 的 汽车 业 也 几乎 没有 发 展 起 来 。 

在 工业 4.0 时 代 ， 由 于 高 度 网 络 化 在 生产 制造 核心 价值 链 上 的 实现 ， 因 此 相关 核心 技 
术 的 创新 将 更 少 由 简单 的 单个 技术 创新 来 实现 。 这 也 许 是 为 什么 德国 工业 4.0 平 台 把 领先 
的 市 场 纳入 到 其 双 领 先 战略 中 的 根本 原因 ， 因 为 如 果 没 有 完整 的 技术 供应 链 ， 是 不 太 可 能 
实现 面向 解决 方案 级 别 的 技术 创新 的 。 

在 数控 机 床 领域 ，PLC 是 一 个 常用 的 核心 器 件 ， 但 超过 95% 以 上 的 市 场 份额 都 由 国外 
企业 所 占有 ， 例 如 西门 子 、 三 菱 、 欧 姆 龙 、 施 耐 德 等 ， 他 们 利用 自身 工业 自动 化 整体 解决 
方案 的 能 力 ， 各 自在 细 分 的 PLC 市 场 占据 垄断 地 位 ， 而 国内 企业 要 打破 这 个 格局 ， 需 要 从 
产业 链 的 技术 创新 入 手 ， 这 样 的 难度 是 比较 高 的 。 

如 果 不 是 从 产业 链 的 技术 创新 介入 ， 单 一 的 技术 点 很 容易 被 领先 的 国外 企业 通过 各 
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种 方式 扼杀 。 因 此 ， 中 国 制造 在 进行 技术 创新 的 时 候 ， 需 要 从 整个 产业 链 或 产业 生态 去 考 
虑 ， 这 样 才 可 能 发 挥 技 术 创 新 带 来 的 优势 。 

在 工业 4.0 时 代 ， 由 于 技术 约束 条 件 发 生 了 改变 ， 企 业经 营 的 商业 模式 也 有 机 会 发 生 
变化 。 通 常 来 讲 ， 商 业 模 式 是 利益 相关 者 的 交易 结构 ， 也 就 是 需要 考虑 与 价值 创造 体系 有 
关 的 主要 利益 相关 者 ， 这 样 才 可 能 真正 创造 并 获取 价值 。 

工业 4.0 研 究 院 根据 德国 工业 4.0 体 系 ， 梳 理 了 3 种 基本 的 商业 模式 ， 它 们 分 别 是 企业 边 
界 内 的 纵向 集成 、 产 业 链 范围 的 端 到 端 集成 和 跨 产 业 链 的 横向 集成 ， 这 3 种 基本 的 工业 4.0 
模式 ， 可 以 给 企业 具体 经 营 管理 提供 创新 方向 。 

从 工业 革命 发 展 史 来 看 ， 企 业 大 部 分 的 创新 发 生 在 车 间 ， 例 如 汽车 的 大 发 展 ， 是 福特 
在 车 间 内 完成 的 ， 这 是 流水 线 作业 的 最 经 典 应 用 案例 ， 也 促使 了 汽车 真正 走向 大 众 市 场 。 
在 工业 4.0 时 代 ， 制 造 企业 仍然 难以 避免 在 车 间 进 行 创新 ， 纵 向 集成 就 是 车 间 创 新 的 工业 
4.0 版 本 ， 通 过 对 车 间 现 场 流水 线 的 改造 ， 可 以 向 智能 工厂 演进 ， 从 而 为 诸如 大 规模 个 性 
化 定制 商定 基础 。 

除了 企业 边界 内 的 纵向 集成 ， 还 有 产业 链 范围 的 端 到 端 集成 ， 通 常 是 后 向 整合 供应 
链 ， 前 向 推出 电子 商务 平台 ， 通 过 这 样 的 方式 ， 企 业 可 以 提供 个 性 化 的 产品 及 服务 给 客 
户 ， 同 时 ， 企 业 还 可 以 获得 较 强 的 竞争 优势 。 

海尔 就 是 按照 端 到 端 集成 的 思路 来 改造 其 商业 模式 的 。 它 首先 做 完了 工厂 内 部 的 纵向 
集成 改造 ， 形 成 了 “互联 工厂 ”， 初 步 具 有 较 强 的 柔性 生产 能 力 ， 同 时 ， 海 尔 还 整合 了 大 
量 的 供应 链 企 业 ， 以 保证 来 自前 端的 消费 者 个 性 化 定制 需求 。 虽 然 目 前 还 看 不 出 海尔 端 
到 端 集成 的 效率 和 效果 ， 但 如 果 可 以 持续 改进 ， 将 来 可 能 形成 有 别 于 竞争 对 手 的 差异 化 
优势 。 

当然 ， 真 正 具 有 工业 4.0 特 征 的 应 该 是 横向 集成 的 商业 模式 ， 由 于 跨 产业 链 的 企业 实 
现 了 高 度 网 络 化 ， 他 们 之 间 可 以 进行 统一 的 数据 交互 ， 相 互 之 间 的 协同 创新 能 力也 将 大 大 
提升 ， 这 样 会 产生 大 量 的 创新 商业 模式 。 例 如 ， 新 型 的 车 联网 就 是 利用 了 跨 产业 链 的 信息 
共享 ， 实 现 了 横向 集成 ， 可 以 向 客户 提供 创新 的 解决 产品 和 解决 方案 。 

从 第 一 次 工业 革命 以 来 ， 管 理 理念 和 方法 都 在 进行 变化 。 在 第 一 次 工业 革命 时 期 ， 
由 于 机 械 化 的 使 用 ， 要 求 工 人 拥有 较 熟 练 的 使 用 机 器 ， 出 现 了 公司 的 实体 ， 这 导致 了 公司 
概念 的 出 现 ， 在 第 二 次 工业 革命 阶段 ， 由 于 电气 化 的 应 用 ， 生 产 制造 的 自动 化 程度 大 大 提 
升 ， 导 致 了 专业 化 分 工 的 出 现 ， 流 水 线 开始 成 为 标准 配置 ， 这 个 时 候 专业 管理 层 也 出 现 
了 ; 在 第 三 次 工业 革命 发 生 的 时 候 ， 技 术 创新 和 模式 变革 要 求 大 量 的 资本 投入 ， 因 此 风险 
投资 开始 发 展 起 来 。 

工业 4.0 研 究 院 认为 ， 在 工业 4.0 时 代 ， 将 出 现 新 的 企业 家 、 新 的 管理 者 和 新 的 工作 
者 ， 这 需要 我 们 更 新 管理 理念 和 方法 ， 真 正 把 创新 放 到 价值 创造 过 程 的 核心 位 置 。 

在 工业 4.0 时 代 ， 激 发 工作 者 的 创新 能 力 是 一 个 关键 的 问题 。 传 统 的 流水 线 和 科 层 制 
管理 方法 是 不 能 满足 高 度 网 络 化 条 件 下 的 创新 需要 的 ， 这 需要 突破 传统 的 管理 方法 和 理 
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念 ， 才 可 能 实现 管理 与 新 价值 创造 方式 的 匹配 。 

海尔 等 传统 制造 企业 也 在 探索 诸如 谷歌 的 新 型 管理 模式 ， 不 再 通过 制度 约束 工人 来 实 
现价 值 创造 ， 而 是 把 时 间 交 给 工人 ， 让 工人 自行 决定 如 何 安 排 工 作 ， 从 而 激发 工人 的 创造 
力 。 对 于 德国 企业 来 讲 ， 他 们 也 在 探索 新 型 的 管理 模式 ， 例 如 ， 借 助 新 兴 技 术 ， 提 供 机 器 
与 人 共同 协作 完成 产品 生产 及 服务 交付 ， 通 过 人 机 协作 ， 大 大 提高 生产 效率 ， 并 达到 较 高 
的 生产 灵活 性 。 

从 目前 研究 及 实践 的 情况 来 看 ， 适 合 工业 4.0 时 代 的 管理 理念 和 方法 还 有 待 进一步 发 
现 ， 但 这 些 理念 和 方法 满足 一 定 的 条 件 倒是 比较 明确 的 ， 例 如 ， 更 加 符合 人 性 需要 、 设 备 
跟 人 的 交互 更 加 智能 化 、 管 理工 作 的 可 视 化 实现 等 。 

工业 4.0 时 代 ， 智 能 化 已 成 为 衡量 城市 发 展 水 平 的 重要 因素 ， 建 设 智慧 城市 是 未 来 城 
市 发 展 的 一 个 共同 目标 。 随 着 世界 经 济 与 科学 技术 的 高 速 发 展 ， 城 市 对 清洁 、 高 效 、 经 
济 、 安 全 的 电力 能 源 的 需求 日 趋 加 大 。 因 此 ， 在 智慧 城市 的 诸多 建设 工程 中 ， 智 能 电网 也 
成 为 关键 项 目 之 一 。 

随 着 我 国 坚 强 智能 电网 建设 的 快速 推进 ， 智 能 电网 在 确保 城市 用 电 安全 可 靠 、 促 进 城 
市 绿色 发 展 、 提 升 城市 网 络 通信 和 能力、 拉动 城市 相关 产业 发 展 以 及 丰富 城市 服务 内 涵 等 方 
面 对 城 市 智能 化 发 挥 了 巨大 的 推动 作用 。 智 能 电网 已 成 为 了 我 国 智 慧 城市 发 展 的 重要 基础 
和 驱动 力 。 

智能 电网 是 以 稳定 的 电网 框架 为 基础 ， 通 过 通信 网 络 技术 和 计算 机 信息 技术 ， 对 电力 
系统 的 发 电 、 输 电 、 变 电 、 配 电 、 用 电 和 调度 等 方面 进行 智能 监控 ， 以 实现 电力 、 信 息 、 
业务 的 高 度 融 合 。 智 能 电网 不 仅仅 意味 着 智能 化 控制 ， 也 包括 对 电网 运行 信息 的 智能 化 处 
理 和 管理 。 只 有 真正 做 到 了 信息 智能 管理 ， 智 能 化 控制 才 可 实现 。 在 智能 电网 的 建设 运行 
过 程 中 ， 所 表现 出 的 可 观测 、 可 控制 、 自 适应 以 及 自 愈 性 等 特性 ， 都 离 不 开 信息 及 通信 技 
术 所 提供 的 支持 与 保障 。 信 息 及 通信 技术 作为 新 时 期 智能 电网 应 具备 的 核心 技术 之 一 ， 可 
以 说 是 决定 整个 智能 电网 运行 建设 及 其 发 展 速 度 的 最 关键 因素 。 

在 建设 智能 电网 的 过 程 中 ， 绝 大 多 数 变电站 设备 及 发 电机 、 电 缆 、 线 路 等 都 有 在 线 监 
测 项 目 。 电 力 的 在 线 监测 是 智能 电网 中 不 可 缺少 的 重要 部 分 ， 然 而 受 电力 系统 分 布 式 及 实 
时 性 的 特性 影响 ， 导 致 各 种 监测 控制 设备 在 信息 获取 方面 存在 着 一 定 的 时 延 、 路 径 不 确定 
性 及 数据 包 信息 流 丢失 等 问题 。 

随 着 工业 以 太 网 技术 、 光 纤 技 术 、 信 息 处 理 技术 的 发 展 以 及 向 电力 领域 的 渗透 ， 在 
当前 技术 条 件 支持 背景 作用 之 下 ， 工 业 以 太 网 通信 在 运行 过 程 当中 所 表现 出 的 包括 可 靠 性 
高 、 灵 活性 高 、 维 护 性 高 以 及 扩展 性 高 在 内 的 多 种 应 用 优势 ， 对 于 优化 整个 电网 系统 各 种 
设备 元 件 的 连接 和 信息 传输 方面 都 有 着 重要 突破 。 

工业 以 太 网 交换 机 作为 目前 最 为 重要 的 电网 通信 设备 解决 方案 ， 使 电力 设备 在 线 监测 
技术 也 得 以 快速 发 展 ， 并 逐步 走向 实用 化 阶段 。 

目前 ， 工 业 交换 机 协议 的 标准 化 早已 完成 ， 包 括 底 层 协议 、 网 络 元 余 协议 、 管 理 协 
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议 、 网 络 精确 时 钟 传输 协议 等 ， 不 同 厂商 产品 互通 性 好 ， 还 可 以 实现 混合 组 网 。 无 风扇、 
低 功 耗 的 工业 标准 设计 ，-40C 一 85C 的 工作 范围 完全 能 够 满足 工业 现场 需求 ， 满 足 电力 
系统 建设 。 同 时 ， 工 业 以 太 网 交换 机 主要 采用 分 段 元 余 、 相 交 环 、 相 切 环 等 混合 组 网 方 
式 ， 提 高 了 组 网 的 可 靠 性 ， 多 种 光电 口 灵 活 配置 ， 高 度 集成 ， 一 体 化 方案 设计 更 为 电网 建 
设 提供 了 便利 。 工 业 以 太 网 交换 机 在 数据 采集 、 生 产 管理 、 运 行 维护 、 安 全 监控 、 计 量 及 
用 户 交 互 等 方面 发 挥 着 巨大 作用 。 

总 之 ， 工 业 4.0 时 代 ， 在 电网 大 数据 背景 下 ， 如 何 借助 工业 4.0 发 展 加 快 国家 电网 设备 
管理 检修 自动 化 、 智 能 化 ， 是 摆 在 我 们 面前 或 须 解 决 的 问题 。 借 着 工业 4.0 东 风 ， 加 快 了 
国 网 新 时 代 的 跨越 式 发 展 。 
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8.1 电网 信息 通信 基础 介绍 


电力 大 数据 源 自 电力 行业 ， 与 智能 电网 、 智 慧 城市 紧密 相连 ， 是 未 来 电力 发 展 的 重 
要 资源 。 在 通信 技术 和 电力 技术 飞速 发 展 的 今天 ， 我 国 的 电力 通信 行业 随 着 电力 工业 的 发 
展 ， 正 不 断 扩展 和 完善 。 我 国 的 电力 通信 网 是 为 保证 我 国电 力 系统 的 安全 稳定 优质 运行 而 
产生 的 ， 经 历 了 从 无 到 有 ， 从 简单 到 当今 先进 技术 的 运用 ， 从 单一 到 多 种 通信 手段 共用 覆 
瘟 的 发 展 过 程 。 电 力 通信 在 为 电网 的 自动 化 控制 、 商 业 化 运营 和 自动 化 管理 的 过 程 中 发 挥 
着 巨大 的 联通 和 服务 作用 。 


8.1.1 电力 信息 通信 的 意义 


电力 信息 通信 是 电力 系统 中 不 可 或 缺 的 重要 组 成 部 分 。 电 力 信息 通信 是 在 发 电 、 变 
电 、 输 电 、 配 电 及 用 电 的 整个 过 程 中 ， 提 供 特殊 通信 服务 的 保障 基础 。 电 力 信息 通信 系统 
中 传输 着 大 量 的 电网 信息 ， 生 产 自 动 化 、 电 力 营销 业务 、 调 度 自动 化 、 办 公 自 动 化 等 业务 
都 需要 依靠 高 速 、 实 时 、 双 向 的 信息 通信 。 电 力 信息 通信 为 电力 系统 的 基础 设施 建设 、 先 
进 工艺 引进 、 智 能 设备 应 用 等 创造 基本 的 环境 ， 这 使 得 电力 信息 通信 与 电网 建设 形成 了 密 
不 可 分 的 关系 。 电 力 信 息 通 信和 是 推动 电力 市 场 向 商业 化 、 信 息 化 、 自 动 化 、 现 代 化 进行 转 
变 的 有 效 手段 ， 在 电力 系统 的 现代 化 进程 中 发 挥 着 十 分 重要 的 作用 。 


8.1.2 我国 电力 通信 系统 的 发 展 历程 


我 国 的 电力 通信 系统 经 历 了 一 个 较 快 的 发 展 时 期 ， 几 十 年 内 ， 经 历 了 一 个 从 纵横 交换 
到 程控 交换 ， 从 明 线 和 同 轴 电缆 到 光纤 传输 ， 从 模拟 网 到 数字 通信 网 ， 从 定点 通信 到 移动 
通信 以 及 从 主要 面向 硬件 到 主要 面向 软件 技术 的 发 展 变化 阶段 。 

1) 20 世 纪 40 一 60 年 代 

电力 通信 的 发 展 始终 与 电网 的 发 展 同步 ， 互 相 支 持 、 互 相配 合 。 在 我 国 ，20 世 纪 40 年 
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代 ， 主 要 以 东北 输电 线 为 主 ， 除 城市 外 ， 其 他 地 区 都 较为 孤立 ， 且 明 线 电话 在 当时 占 主 要 
地 位 ， 长 距离 调度 所 使 用 的 载波 机 主要 依靠 日 本 进口 。 随 着 20 世 纪 五 六 十 年 代 我 国 用 电量 
的 明显 剧 增 ， 东 北 电网 又 向 华北 地 区 扩散 ， 建 成 了 华北 电网 ， 但 我 国 的 公 网 通信 仍然 较为 
落后 。 此 阶段 我 国 使 用 的 电力 线 载波 机 仍 是 从 国外 进口 ， 但 在 向 苏联 进口 的 同时 我 国 也 开 
始 自 行 研发 生产 。 

2) 20 世 纪 70 年 代 

20 世 纪 70 年 代 初期 ， 我 国 的 电力 通信 系统 开始 在 一 些 信息 需求 量 大 和 重要 的 部 门 采 
用 微波 通信 到 末期 ， 我 国 的 电力 通信 系统 又 有 了 进一步 发 展 ， 电 力 线 载波 通信 占 主导 地 
位 ， 其 他 有 小 容量 〈120 路 以 下 ) FDM 模 拟 微波 、 邮 电 多 路 载波 、 电 费 及 架空 明 线 等 ， 我 
国 的 电网 已 经 扩大 到 拥有 华北 、 东 北 和 华东 三 大 电网 ， 部 分 地 区 开始 形成 自己 的 独立 通信 
网 络 。 此 阶段 我 国电 力 通 信和 以 音频 、 载 波 、 模 拟 微波 等 通信 方式 为 主 。 不 过 在 全 国 范围 
内 ， 很 多 地 区 十 万 千瓦 以 上 的 电网 没有 通信 干线 ， 且 通信 电路 不 太 健 全 、 自 动 化 水 平 不 
高 ， 部 分 地 区 还 经 常 出 现 停电 现象 。 通 信 系 统 的 落后 成 为 我 国电 力 工 作 的 薄弱 环节 之 一 ， 
给 我 国 的 工农 业 生产 带 来 了 较 大 影响 ， 与 国外 差距 仍然 较 大 。 

3) 20 世 纪 80 年 代 

20 世 纪 80 年 代 是 我 国电 力 通信 的 高 速 发 展 时 期 ， 随 着 大 规模 集成 电路 的 发 展 ， 出 现 
了 数字 微波 、 光 纤 通 信和 程控 交换 机 等 ， 大 电站 、 大 机 组 、 超 高 压 输电 线路 不 断 增 加 ， 电 
网 规模 越 来 越 大 。 承 接 20 世 纪 70 年 代 末 的 电力 系统 数字 化 网 络 建设 ，80 年 代 ， 我 国 开始 建 
设 电 力 专 用 通信 网 。 此 阶段 ， 数 字 微 波 、 卫 星 通信 、 光 纤 通 信 、 移 动 通信 、 对 流 层 散射 通 
信 、 特 高 频 通信 、 数 字 程 控 交 换 机 等 得 到 了 推广 与 运用 。 当 然 ， 电 网 的 飞速 发 展 也 为 电网 
的 管理 和 技术 提出 了 新 的 要 求 ， 我 国 紧 跟 时 代 脚 步 ， 自 上 而 下 成 立 了 电力 通信 网 建设 和 管 
理 的 专门 机 构 ， 并 逐步 形成 和 完善 了 一 套 指导 建设 电力 通信 网 的 技术 政策 ， 制 定 了 有 关 通 
信 的 规章 制度 和 技术 要 求 ， 培 养 出 了 一 批 熟 悉 通信 设计 、 建 设 、 和 运行、 维护、 管理 的 人 
才 ， 在 政策 和 制度 方面 加 强 了 力量 建设 。 

4) 20 世 纪 90 年 代 

20 世 纪 90 年 代 ， 我 国 的 电力 通信 系统 发 展 较 快 ， 技 术 上 有 了 进一步 提高 ， 新 技术 和 新 
设备 的 应 用 更 快 更 灵活 ， 在 其 他 网 络 上 ， 例 如 传输 网 和 交换 网 等 得 到 了 进一步 的 完善 ， 并 
开始 引入 一 批 高 新 网 络 技术 ， 为 现在 的 电力 通信 发 展 打下 了 良好 基础 。 


8.1.3 ”我 国电 力 通信 的 现状 


在 我 国 ， 电 力 通信 网 是 一 种 专业 性 极 强 的 通信 网 ， 是 电网 的 重要 组 成 部 分 ， 在 网 络 通 
信 技 术 不 断 发 展 的 今天 ， 电 力 通信 网 的 业务 形式 也 在 不 断 扩 大 和 发 展 ， 其 主要 业务 形式 表 
现在 以 下 4 个 方面 。 
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1) 电网 安全 监视 和 稳定 控制 方面 

在 我 国 各 个 城市 中 经 常 出 现 电力 系统 崩溃 的 现象 ， 其 中 一 个 重要 原因 就 是 电力 网 络 结 
构 过 于 薄弱 ， 而 且 使 用 极 不 合理 。 对 此 ， 许 多 地 区 在 电网 的 安全 监视 和 稳定 性 控制 方面 给 
了 予 了 不 少 投入 。 例 如 ， 购 置 了 及 时 定位 线路 故障 点 的 线路 故障 测 距 装置 ， 对 通信 网 络 不 稳 
定 的 地 方 设置 了 实时 监控 系统 ， 监 视 通信 网 路 的 健康 状况 ; 通过 全 球 卫星 定位 系统 的 实时 
相 量 测 量 ， 在 电力 系统 中 实施 相 量 控制 等 手段 ， 使 得 我 国 大 部 分 地 区 的 电力 系统 稳定 运行 
成 为 可 能 。 

2) 气象 与 新 能 源 方面 

电力 通信 系统 目前 在 气象 监测 方面 正 发 挥 着 日 益 增 大 的 作用 。 例 如 ， 对 于 常年 无 人 监 
守 的 户外 水 电站 ， 可 借助 电力 通信 系统 在 水 电站 的 上 游 选取 合适 位 置 安放 监测 台 ， 对 一 年 
降水 情况 进行 采集 和 网 络 分 析 ， 然 后 通过 网 络 传播 信息 ， 对 数据 进行 全 面具 体 地 分 析 。 同 
时 ， 它 在 新 能 源 方面 的 作用 也 正 不 断 突出 ， 对 太阳 能 、 风 能 、 潮 汐 等 新 能 源 的 发 电 技术 研 
究 正 是 今后 国家 电力 进程 的 一 个 长 期 方向 ， 因 此 电力 通信 系统 对 新 能 源 的 开发 利用 也 是 今 
后 电力 通信 网 络 的 业务 方向 之 一 。 

3) 环境 保护 方面 

在 环境 保护 力度 不 断 加 大 的 今天 ， 对 各 个 领域 各 种 排放 物 的 监控 要 求 正 不 断 提高 ， 
我 国电 力 通信 系统 在 对 部 分 火电 厂 、 核 电站 的 废气 、 烟 侍 、 放 射线 等 的 排放 上 已 形成 全 面 
的 监测 系统 。 此 系统 综合 利用 GPS 系统 、 地 理 信 息 系统 〈GIS) 、 遥 感 技术 〈RS) 等 先进 
技术 ， 将 采集 到 的 数据 和 实物 样本 就 地 进行 分 析 处 理 ， 并 通过 网 络 传输 到 总 部 统一 备案 处 
理 ， 大 大 提高 了 效率 ， 对 环境 保护 做 出 了 巨大 贡献 。 

4) 电网 商业 化 运营 方面 

电网 商业 化 运营 主要 依托 于 全 国 的 联网 工程 ， 在 我 国电 力 改革 深入 发 展 的 今天 ， 要 求 
形成 与 国际 互联 网 企业 接轨 的 大 的 网 络 环境 。 电 子 商 务 系统 安全 性 大 、 快 捷 方便 ， 收 益 空 
间 大 ， 建 立 互动 式 电子 商务 平台 ， 不 仅 能 扩展 业务 范围 ， 还 能 扩大 信息 交流 。 高 速 而 又 安 
全 的 电力 通信 网 络 对 电子 商务 的 实时 交易 和 电力 网 络 环境 的 安全 维护 发 挥 着 越 来 越 重要 的 
作用 。 


8.1.4 智能 电网 与 电力 信息 通信 的 定义 


1) 智能 电网 的 定义 

我 国 的 智能 电网 是 以 特 高 压 电网 为 骨干 网 架 ， 各 电压 等 级 电网 协调 发 展 的 强 电 网 为 基 
础 ， 将 现代 先进 的 传 感 测量 技术 、 通 信 技 术 、 信 息 技术 、 计 算 机 技术 和 控制 技术 与 物理 电 
网 高 度 集成 而 形成 的 新 型 电网 。 智 能 电网 以 充分 满足 用 户 对 电力 的 需求 和 优化 组 员 配 置 、 
确保 电力 供应 的 安全 性 、 可 靠 性 和 经 济 性 、 适 应 电力 市 场 化 发 展 等 为 目的 ， 实 现 对 用 户 可 
靠 、 经 济 、 清 洁 、 互 动 的 电力 供应 和 增值 服务 。 安 全 性 是 智能 电网 最 基本 的 要 求 ， 电 力 系 
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统 中 的 每 一 个 因素 都 有 可 能 对 电网 安全 产生 影响 ， 而 智能 电网 对 于 所 有 的 硬件 因素 和 软件 
因素 都 必须 能 够 做 出 迅速 且 正确 的 反应 ， 以 确保 电力 系统 的 平衡 。 

2) 电力 信息 通信 的 定义 

作为 电力 系统 不 可 或 缺 的 重要 组 成 部 分 ， 电 力 信息 通信 是 在 发 电 、 变 电 、 输 电 、 配 电 
及 用 电 的 整个 过 程 中 提供 特殊 通信 服务 的 保障 基础 。 电 力 信息 通信 系统 中 传输 着 大 量 的 电 
网 信息 ， 生 产 自 动 化 、 电 力 营 销 业 务 、 调 度 自动 化 、 办 公 自 动 化 等 业务 都 需要 依靠 高 速 、 
实时 、 双 向 的 信息 通信 ， 为 电力 系统 的 基础 设施 建设 、 先 进 工艺 引进 、 智 能 设备 应 用 等 创 
造 基本 的 环境 ， 使 得 电力 信息 通信 与 电网 建设 形成 了 密 不 可 分 的 关系 。 电 力 信息 通信 是 推 
动 电力 市 场 向 商业 化 、 信 息 化 、 自 动 化 、 现 代 化 进行 转变 的 有 效 手 段 ， 在 电力 系统 的 现代 
化 进程 中 发 挥 着 十 分 重要 的 作用 。 

促进 电力 通信 技术 的 研究 和 开发 是 供电 企业 的 一 项 发 展 目标 ， 因 为 电力 通信 技术 对 于 
电力 系统 进行 电能 的 生产 、 输 送 和 使 用 等 方面 都 起 着 关键 性 作用 。 除 此 之 外 ， 电 力 通信 技 
术 能 将 大 量 的 信息 和 数据 整合 在 一 起 ， 以 避免 电网 由 于 涵盖 面积 广 和 输电 环节 错综复杂 而 
造成 的 电力 信息 和 数据 传输 故障 等 问题 出 现 。 由 此 可 见 电力 通信 是 电力 系统 顺利 有 效 运行 
的 关键 要 素 ， 其 推广 应 用 对 于 电力 系统 的 自动 化 发 展 具 有 极 大 的 促进 作用 ， 是 确保 电网 的 
科学 管理 和 高 质量 服务 的 重 中 之 重 。 

目前 我 国电 网 企业 的 信息 化 程度 正在 不 断 加 强 ， 国 家 在 不 断 地 促进 电力 通信 系统 数据 
网 络 的 扩大 ， 以 便 实现 电网 公司 的 数据 信息 统一 管理 。 电 力 通 信 技 术 的 发 展 也 正 满足 了 这 
样 的 需求 ， 电 力 通信 系统 将 庞大 的 数据 统一 于 一 个 系统 结构 ， 在 电网 企业 的 电力 系统 管理 
中 实现 网 络 整体 效益 ， 极 大 地 促进 现代 化 电力 企业 “一 强 三 优 ” 指 标的 实现 ， 将 电网 公司 
建成 一 个 电网 坚强 、 资 产 优良 、 服 务 优质 、 业 绩优 秀 的 现代 公司 。 


8.1.5 电力 信息 通信 与 智能 电网 的 关系 


智能 电网 发 展 的 本 质 就 是 新 型 能 源 的 大 量 接 入 ， 以 及 大 量 智能 化 设备 的 应 用 。 在 对 
传统 电网 进行 智能 化 改造 时 ， 信 息 通 信 技 术 发 挥 着 极其 重要 的 推动 作用 ， 智 能 电网 、 物 联 
网 、 三 网 融合 、 数 字 家 庭 、 智 慧 城市 等 概念 ， 无 一 不 与 电力 信息 通信 有 着 密切 的 联系 。 传 
统 的 高 频 通信 、 电 力 载波 通信 已 经 逐渐 被 电力 光纤 通信 所 替代 ， 电 力 信息 通信 正在 朝 着 实 
时 性 更 高 、 网 络 更 加 稳定 、 体 系 更 加 完善 的 方向 发 展 。 

在 智能 电网 的 建设 过 程 中 ， 包 括 电力 生产 部 门 、 调 度 通信 部 门 、 行 政 部 门 、 电 力 营销 
部 门 在 内 的 各 个 业务 应 用 部 门 ， 都 是 通过 电力 信息 通信 网 络 来 进行 信息 传输 的 。 以 光缆 为 
代表 的 智能 电网 数据 传输 方式 ， 经 过 PDH/SDH 同 步 数 字 序列 和 同步 技术 ， 再 通过 数据 包 
交换 后 上 传 至 网 络 ， 最 终 进 入 应 用 业务 层 ， 为 继 电 保护 自动 化 系统 、 视 频 监控 、 电 网 管理 
业务 、 电 力 营 销 自动 化 等 业务 服务 。 


基于 大 数据 的 智慧 电网 技术 


8.1.6 ”电力 信息 通信 在 建设 智能 电网 中 的 作用 


1) 电力 信息 通信 促进 智能 化 光纤 通信 网 络 的 建立 

智能 化 光纤 通信 网 络 是 一 种 具有 自动 交换 功能 的 传输 通信 网 络 ， 与 传统 的 电子 通信 网 
络 相 比 具 有 较 大 的 灵活 性 和 高 效 性 。 在 实际 应 用 中 ， 智 能 化 光纤 通信 网 络 通过 用 户 端 动态 
结构 部 分 发 起 业务 请 求 ， 并 自动 选择 网 络 通信 的 传输 路 由 ， 同 时 使 用 信号 命令 传输 控制 电 
力 通信 的 建立 与 释放 ， 以 实现 电网 数据 、 信 息 的 智能 化 通信 传输 。 智 能 化 光纤 通信 网 络 的 
建立 ， 大 大 提高 了 电力 通信 网 络 传播 速度 ， 从 而 缩短 了 提供 业务 需要 的 传输 时 间 ， 为 用 户 
节约 了 大 量 的 等 待 时 间 。 

2) 电力 信息 通信 为 智能 电网 提供 最 基础 的 接 入 网 

智能 电网 的 接 入 网 是 指 连 接 到 最 终 用 户 端 的 部 分 ， 为 电力 用 户 提供 丰富 多 样 的 用 电 选 
择 ， 同 时 通过 信息 通信 传输 功能 实现 与 电力 用 户 的 交流 互动 。 智 能 电网 的 接 入 网 使 用 基于 
PLC 技 术 的 电力 信息 通道 ， 此 种 接 入 方式 是 电力 系统 特有 的 一 种 通信 传输 手段 ， 在 智能 电 
网 的 建设 中 具有 不 可 替代 的 作用 。 此 外 ， 我 国电 力 信息 通信 的 传播 主要 是 通过 电信 运营 商 
的 无 线 网 络 或 者 有 线 宽带 网 络 来 实现 的 ， 这 些 都 是 智能 电网 最 基础 的 接 入 网 。 

3) 电力 信息 通信 为 智能 电网 的 生产 运行 提供 服务 

智能 电网 的 建立 基础 是 双向 且 高 速 发 展 的 信息 通信 网 络 ， 并 通过 高 科技 的 指控 方法 ， 
以 及 先进 的 测量 技术 和 传输 感应 实现 对 系统 技术 的 应 用 。 电 力 信息 通信 对 智能 电网 的 支 
撑 作用 体现 在 生产 、 经 营 以 及 管理 等 各 个 方面 ， 为 智能 电网 的 生产 运行 提供 优质 的 功能 服 
务 。 电 力 信息 通信 技术 的 发 展 逐 步 趋向 统一 ， 智 能 电网 的 快速 发 展 将 使 用 户 摆脱 时 间 和 空 
间 对 于 电力 通信 的 影响 ， 从 而 真正 实现 数据 、 语 音 两 网 相互 兼容 ， 整 体 地 进行 运营 、 管 理 
以 及 建设 。 


8.1.7 ”电力 信息 通信 在 智能 电网 中 的 应 用 


1) 在 发 电 领域 的 应 用 

电力 信息 通信 在 智能 电网 发 电 领 域 的 应 用 主要 体现 在 水 情 预报 、 库 容 调 度 、 电 力 市 场 
交易 等 几 个 方面 ， 以 及 新 能 源 的 接 入 和 控制 工作 。 电 力 信息 通信 对 于 新 能 源 的 开发 和 使 用 
起 着 至 关 重 要 的 作用 ， 通 过 制定 标准 接口 ， 电 力 信息 通信 能 够 自动 调节 新 能 源 接 入 后 的 
电能 电压 、 功 率 和 质量 ， 实 现 各 类 技术 参数 的 传输 和 反馈 ， 从 而 保证 发 电 系 统 的 智能 化 
运转 。 此 外 ， 电 力 信息 通信 在 新 能 源 发 电 的 启动 、 停 止 、 功 率 控制 等 方面 也 发 挥 着 重要 
的 作用 。 

2) 在 输电 领域 的 应 用 

电力 信息 通信 在 智能 电网 输电 领域 的 应 用 主要 体现 在 实时 数据 传输 、 电 能 调度 控 
制 、 继 电 保护 装置 安全 运行 等 方面 ， 以 及 应 用 电力 信息 通信 技术 开展 可 视 化 检测 、 输 电 
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运行 检测 、 安 全 预警 等 工作 。 此 外 ， 通 过 采取 适当 的 电力 信息 通信 方式 ， 能 够 实现 对 于 
基础 信息 及 线路 运行 状态 的 全 方位 监控 ， 从 而 使 不 同 部 门 机 构 的 监测 信息 得 到 统一 ， 便 
于 统筹 处 理 。 

3) 在 变 电 领 域 的 应 用 

电力 信息 通信 在 智能 电网 变 电 领 域 的 应 用 主要 体现 为 变电站 的 自动 化 和 可 视 化 ， 特 别 
是 随 着 低压 智能 电网 建设 步伐 的 逐步 加 快 ， 电 力 信息 通信 和 能够 为 智能 电网 的 安全 、 稳 定 运 
行 提 供 大 量 、 准 确 的 数据 ， 使 其 在 变 电 领 域 的 应 用 范围 变 得 愈加 广泛 。 此 外 ， 智 能 电网 的 
发 展 离 不 开 智能 变电站 ， 建 设 智 能 变电站 需要 运用 先进 的 电力 信息 通信 技术 ， 实 现 变 电 
站 全 景 实时 监测 、 系 统 智能 调节 、 运 行 自动 控制 ， 有 效 提 升 变 电 的 安全 性 、 可 靠 性 及 自 
动 化 。 

4) 电力 信息 与 通信 技术 融合 的 经 济 环境 因素 

伴随 着 通信 技术 的 不 断 发 展 ， 电 力 通信 的 发 展 同样 离 不 开 相 应 技术 的 改革 和 创新 ， 融 
合 信息 化 技术 对 电力 通信 的 发 展 来 说 是 最 好 的 选择 。 对 于 信息 服务 来 说 ， 通 信和 网络 为 基础 
的 现代 化 服务 才 是 我 们 发 展 的 目标 。 从 经 济 角度 来 讲 ， 便 利信 息 与 电力 通信 的 相互 融合 可 
以 推动 集约 化 管理 方式 的 发 展 ， 提 高 企业 竞争 力 的 同时 ， 精 简 管理 机 构 ， 减 少 管理 层次 ， 
减少 管理 支出 。 当 今 社会 的 网 络 化 发 展 趋势 ， 对 电力 企业 来 讲 ， 必 须 将 电力 信息 与 电力 通 
信 有 效 结 合 ， 降 低 投入 成 本 ， 满 足 经 济 的 发 展 需求 ， 实 现 以 较 少 的 资金 运营 和 维护 ， 降 低 
投资 成 本 ， 将 不 同 的 业务 同时 运作 于 同一 网 络 ， 推 动 技术 发 展 的 同时 节约 运营 资金 ， 减 少 
人 力 物力 的 投入 。 

5) 电力 信息 与 通信 技术 融合 的 文化 环境 因素 

通信 方式 的 不 断 完善 能 够 使 用 户 随时 随地 获得 所 需要 的 各 类 信息 ， 并 且 通 过 信息 网 络 
的 生产 方式 以 及 工作 方式 构成 信息 化 社会 体系 。 电 网 系统 随 着 自身 竞争 力 的 不 断 增强 ， 融 
合 了 大 部 分 的 语音 、 视 频 和 数据 的 应 用 ， 有 效 满足 了 电力 企业 员工 统一 服务 的 需求 ， 并 且 
能 够 适应 先行 网 络 环境 的 使 用 。 

6) 电力 信息 与 通信 技术 融合 的 技术 环境 分 析 

对 于 电力 企业 来 说 ， 随 着 网 络 技术 的 不 断 成 熟 、 推 广 和 应 用 ， 利 用 Intemet 的 信息 化 业 
务 管理 内 容 将 越 来 越 广泛 。 新 型 技术 的 不 断 引 入 ， 促 进 了 多 种 业务 以 及 技术 的 统一 应 用 ， 
这 是 我 国电 网 企业 发 展 的 新 趋势 。 电 力 信息 与 电力 通信 的 有 效 融 合 需要 一 些 技术 的 支持 ， 
从 技术 环境 来 说 ， 包 括 以 下 几 个 方面 : 业务 融合 、 核 心 网 技术 融合 、 接 入 网 技术 融合 、 软 
交换 技术 融合 等 。 


8.1.8 电力 通信 的 发 展 方向 


1) 加 快 光纤 传输 网 的 设置 ， 加 大 全 面 网 络 建设 
我 国 部 分 地 区 的 电力 通信 系统 中 ， 电 力 光纤 通信 网 存在 着 纤 芯 容量 不 足 、 设 备 容量 小 
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的 情况 ， 因 此 很 有 必要 在 加 快 传输 网 的 建设 上 加 大 投入 。 为 此 ， 要 对 该 地 区 主干 光纤 传输 
网 加 大 改造 和 建设 力度 ， 吸 引 投资 ， 以 点 带 面 ， 在 工程 建设 上 做 好 工作 。 而 且 ， 要 在 电力 
通信 和 动作 流程 中 加 大 网 络 的 全 面 和 系统 建设 。 例 如 ， 在 通信 网 的 非 话 业 务 方面 和 网 内 卫 
技术 等 方面 要 加 大 开拓 和 推广 力度 ， 努 力 扩大 电力 通信 网 络 的 覆盖 面 ， 在 各 交换 机 制 的 组 
网 工作 中 做 好 相关 完善 工作 ， 把 信息 交换 网 络 朝 着 效率 性 高 、 安 全 性 强 、 稳 定性 高 的 方向 
建设 。 

2) 加 大 科研 力度 和 技术 研究 

我 国 的 电力 传输 技术 有 待 提高 ， 要 在 维护 已 有 的 传统 传输 模式 基础 上 ， 加 强 改 造 和 新 
技术 的 研发 ， 增 加 业务 管理 力度 和 角度 。 在 研究 和 建设 电力 通信 网 络 的 同时 ， 要 鼓励 科技 
创新 ， 将 宽带 卫 等 新 技术 的 运用 深入 到 现代 通信 网 络 的 建设 当中 ， 多 角度 加 大 经 费 投入 和 
科技 研究 。 

3) 各 地 严 抓 电 力 通信 电路 的 建设 质量 

在 我 国电 力 通信 飞速 发 展 的 现状 下 ， 要 努力 减少 通信 电路 误 码 率 高 、 公 务 监控 不 力 、 
监控 系统 不 通 等 一 系列 问题 ， 杜 绝 电 力 通信 网 络 工程 中 低 质 量 工程 项 目的 出 现 。 各 个 地 区 
应 避免 “地 方 保护 ”“ 门 户 观念 ”对 工程 选择 和 决定 的 不 良 影 响 。 另 外 要 在 网 络 系统 的 建 
设 过 程 中 ， 加 大 科研 力度 和 投入 ， 工 程 项 目 负责 人 还 要 实行 责任 制 ， 做 好 检测 和 监管 工 
作 ， 及 时 验证 工程 指标 是 否 合格 ， 确 保 建设 质量 。 

4) 积极 建设 宽带 多 业务 数字 网 络 平台 

在 电力 通信 发 展 规划 中 ， 要 积极 地 建设 宽带 多 业务 数字 网 络 平台 ， 在 语音 、 图 像 、 数 
据 、 媒 体 、 新 闻 等 各 业务 领域 为 现在 和 今后 的 发 展 打 好 基础 ， 提 供 统一 的 优先 等 级 ， 确 保 
业务 质量 。 

5) 致力 于 国内 和 国际 市 场 的 开发 

保证 业务 质量 的 服务 ， 在 优化 核心 层 基础 上 ， 广 泛 开 展 接 入 层 、 用 户 层 工作 。 在 电力 
通信 网 络 成 为 功能 强大 的 通信 网 络 时 ， 要 按照 市 场 机 制 和 市 场 运行 规律 ， 充 分 合理 地 利用 
我 们 的 通信 网 络 资源 ， 积 极 拓宽 新 的 增值 业务 和 服务 范围 ， 规 划 、 建 设 、 完 善 好 一 批 具有 
一 定 规模 和 发 展 潜力 的 电力 通信 系统 模式 ， 加 大 自身 竞争 力 ， 逐 步 走向 社会 ， 参 与 竞争 。 


8.2 ”电网 信息 通信 技术 类 别 


结合 电力 未 来 应 用 趋势 ， 在 全 球 能 源 互联 网 应 用 背景 下 ， 电 网 信息 通信 选取 了 多 媒体 
识别 、 量 子 计 算 、 全 息 投影 展示 、 神 经 网 络 芯片 、 混 合 云 计 算 、 机 器 学 习 、 相 干 光 通 信 、 
下 一 代 PON、5G 通 信 、 空 地 互联 技术 、 软 件 定义 架构 、 信 息 物理 融合 系统 CCPS) 、 北 斗 
卫星 导航 技术 、 遥 感 及 高 分 影像 、 通 信和 网络 虚拟 融合 等 信息 通信 技术 ， 通 过 新 技术 的 不 断 
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引入 ， 促 进 了 多 种 业务 以 及 技术 的 统一 应 用 ， 这 是 我 国电 网 企业 发 展 的 新 趋势 。 


8.2.1 智能 多 媒体 识别 技术 


智能 多 媒体 识别 技术 主要 是 指 基 于 多 种 模式 识别 算法 对 视频 、 图 像 、 语 音 等 多 媒体 信 
息 进 行 检索 、 分 类 、 分 析 的 技术 。 智 能 多 媒体 分 析 主要 包括 智能 图 像 识别 、 智 能 视频 分 析 
和 智能 语音 识别 三 方面 技术 。 

Facebook、 雅 虎 、Google 等 科技 巨头 都 发 展 了 图 像 识别 技术 ， 用 于 人 脸 识别 、 照 片 管 
理 、 门 牌号 识别 等 。 随 着 智能 多 媒体 识别 技术 进一步 发 展 ， 图 像 识别 技术 可 广泛 用 于 电力 
生产 、 营 销 、 办 公 自 动 化 、 培 训 等 多 个 专业 。 

视频 分 析 技 术 当 前 主要 应 用 在 安防 监视 、 交 通 流量 分 析 等 有 限 的 场景 ， 随 着 高 清 化 、 
智能 化 进程 的 推进 ， 应 用 将 推广 到 安防 、 交 通 、 商 业 、 办 公 自 动 化 、 家 居 智 能 等 。 

语音 识别 技术 的 当前 应 用 包括 语音 拨号 、 语 音 导 航 、 室 内 设备 控制 、 语 音 文档 检索 、 
简单 的 听写 数据 录入 等 。 


8.2.2 ”量子 计算 


量子 计算 与 量子 信息 的 研究 可 以 追溯 到 几 十 年 前 ， 但 真正 引起 广泛 关注 的 是 20 世 纪 90 
年 代 中 期 。 这 期 间 发 现 了 Shor 量 子 因子 分 解 算法 和 Crover 量 子 搜索 算法 ， 这 两 类 算法 展示 
了 量子 计算 从 根本 上 超越 经 典 计算 机 计算 能 力 和 在 信息 处 理 方面 的 巨大 潜力 。 与 此 同时 ， 
量子 计算 机 和 量子 信息 处 理 装置 在 物理 实现 的 研究 ， 成 为 继 并 行 计算 机 、 生 物 计 算 机 等 之 
后 的 非 串 行 计算 体系 的 又 一 热点 。 

量子 位 (qubit) 是 量子 计算 的 理论 基石 。 在 常规 计算 机 中 ， 信 息 单元 用 二 进 制 的 1、 
位 来 表示 ， 它 不 是 处 于 “0” 态 就 是 处 于 “1” 态 。 在 二 进 制 量子 计算 机 中 ， 信 息 单元 称 为 
量子 位 ， 它 除了 处 于 “0” 态 或 “1” 态 外 ， 还 可 处 于 县 加 态 (superposed state) 。 

量子 计算 是 一 种 基于 量子 位 上 的 高 性 能 计算 ， 量 子 位 具有 区 加 性 ， 可 以 同时 表示 0 和 1， 
而 传统 计算 机 bit 只 能 表示 0 或 者 1， 因 此 假设 有 一 个 n 位 寄存 器 ， 传 统计 算 机 一 次 只 能 存储 
2" 以 内 的 任意 一 个 数 ， 而 量子 寄存 器 可 以 一 次 同时 存储 2 内 的 所 有 数 ， 从 而 可 以 实现 一 次 
对 这 2 个 数 的 计算 而 不 需要 多 次 存 取 ， 这 就 为 大 规模 并 行 计 算 提 供 了 高 效率 。 

量子 计算 包括 3 方面 : 量子 密码 及 通信 、 量 子 算法 和 量子 计算 机 。 如 果 量子 计算 机 成 
熟 ， 原 有 的 数字 证 书 安全 体系 需要 完全 重新 设计 ， 原 依赖 于 RSA、DES 等 算法 的 安全 体系 
将 会 月 省， 公司 内 的 很 多 信息 安全 技术 需要 重新 打造 ， 这 就 涉及 量子 加 密 技术 。 

量子 计算 方面 ， 由 于 量子 位 可 存储 多 个 数据 ， 是 下 一 代 计 算 机 体系 结构 的 发 展 方向 ， 
因此 引进 量子 计算 机 ， 在 计算 大 规模 复杂 电网 实时 潮流 分 析 等 应 用 下 ， 有 着 传统 计算 机 无 
可 取代 的 优势 。 这 就 使 得 海量 数据 的 高 速 诊断 将 成 为 现实 ， 能 为 当前 生产 、 营 销 大 数据 分 


基于 大 数据 的 智慧 电网 技术 
析 提 供 更 好 的 决策 算法 。 


8.2.3 ”全息 投影 


全 息 投影 技术 (front-projected holographic display) 也 称 虚拟 成 像 技术 ， 是 利用 干涉 和 
衍射 原理 记录 并 再 现 物 体 真 实 的 三 维 图 像 的 技术 。 

通俗 来 讲 ， 这 是 一 种 裸眼 3D 技 术 ， 不 同 于 通过 堆 又 二 维 图 像 制造 视觉 差 的 伪 3D， 
它 记 录 了 物体 的 表面 信息 各 个 不 同 角度 的 光波 数据 ， 因 此 称 之 为 全 息 一 一 取 意 包含 全 部 
信息 。 

全 息 技 术 通 过 光源 投影 和 散射 制作 真 三 维 的 虚空 成 像 ， 是 一 种 很 有 冲击 力 的 可 视 化 展 
示 技 术 ， 在 电力 行业 可 应 用 于 : 

(1) 无 人 机 偏远 山区 巡 线 操作 ， 实 时 传输 数据 到 远程 监控 端 实现 全 息 视 图 展示 。 

(2) 营销 和 电力 市 场 交易 方面 ， 使 用 三 维 的 全 息 数 据 视图 ， 更 好 地 展示 各 种 大 数据 
和 云 计算 分 析 结果 。 

(3) 调度 和 运行 方面 ， 使 用 三 维 全 息 视图 ， 实 时 展示 电网 的 各 动态 数据 ， 配 合 传 感 
器 ， 虚 空 拖拉 窗口 进行 各 种 操作 。 

(4) 操作 培训 ， 全 息 投影 出 虚拟 的 设备 ， 让 操作 员 穿 戴 配 备 有 各 种 传感器 的 工作 
服 ， 进 行 安 全 操作 的 培训 ， 达 到 更 好 的 培训 效果 。 

(5) 智慧 城市 或 95598， 实 现 虚 拟 的 客服 人 员 导 航 ， 以 及 各 种 生动 的 数据 ， 更 好 地 展 
示 国 网 形象 。 


8.2.4 神经 网 络 芯片 


神经 网 络 芯片 是 模仿 人 脑 的 结构 和 突 触 可 塑性 的 芯片 ， 以 模仿 人 脑 信息 加 工 过 程 的 智 
能 化 信息 处 理 技术 为 核心 ， 工 作 方式 非常 类 似 于 人 脑 神经 元 与 突 触 之 间 的 协同 ， 能 在 并 行 
计算 中 实现 更 高 效 的 通信 。 
最 近 10 年 ， 国 外 神经 拟态 领域 开始 呈现 加 速 赛跑 的 热闹 场面 ， 国 内 研究 较 少 。 
(1) Google 公 司 和 Facebook 公 司 等 互联 网 巨头 投入 很 多 人 力 物 力 财力 发 展 神经 网 络 
软件 。 
(2) 欧洲 的 人 脑 项 目 正 在 神经 形态 项 目 上 花费 约 1 亿 欧 元 。 
(3) 德国 一 个 团队 使 用 神经 网 络 芯 片 和 软件 模仿 了 昆虫 的 气味 处 理 系统 。 
(4) 2014 年 8 月 ，IBM 发 布 首 款 前 所 未 有 的 超大 规模 神经 突 触 计算 机 芯片 SYNAPSE。 
(5) 美国 高 通 公 司 2014 年 4 月 公布 的 Zeroth 芯 片 也 在 硅 片 上 高 效 地 模拟 了 脑 神 经 元 。 
神经 网 络 芯片 可 以 为 智能 家 居 、 智 能 用 电 、 电 动 汽车 智能 充 换 电 、 故 障 诊断 、 状 态 检 
修 、 在 线 监 测 、 智 能 控制 、 继 电 保护 、 电 力 系统 负荷 预测 等 业务 应 用 提供 有 力 支 撑 。 
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(1) 植 入 机 器 人 ， 使 得 机 器 人 能 以 和 人 类 相似 的 方式 来 理解 世界 并 与 之 互动 。 
(2) 用 视觉 和 听觉 传感器 来 识别 物体 并 提供 声音 线索 。 

(3) 植 入 眼镜 、 腕 表 以 及 其 他 可 穿戴 设备 ， 整 理 感官 输入 ， 检 测 生命 体征 。 
(4) 配备 对 图 像 、 气 味 、 声 音 感知 的 传感器 ， 监 控 火 灾 或 其 他 自然 灾害 等 。 


8.2.5 混合 云 计算 


混合 云 是 有 两 个 或 者 更 多 不 同 云 部 署 模型 组 成 的 云 环 境 ， 例 如 ， 云 用 户 可 能 会 选择 把 
处 理 敏 感 数据 的 云 服务 部 署 到 私有 云 上 ， 而 将 其 他 不 那么 敏感 的 云 服务 部 署 到 公有 云 上 ， 
这 种 组 合 就 得 到 了 混合 部 署 模型 。 

由 于 云 环境 中 潜在 的 差异 ， 以 及 私有 云 提供 组 织 和 公有 云 提供 者 之 间 在 管理 责任 的 分 
离 ， 因 此 ， 混 合 部 署 架构 的 创建 和 维护 可 能 会 很 复杂 和 具有 挑战 性 。 

合 云 是 未 来 市 场 发 展 趋势 ， 混 合 云 把 公共 的 外 部 云 和 内 部 私有 “ 云 ” 整 合成 更 具 功 
能 性 的 解决 方案 。 而 混合 去 的 “秘诀 ”就 是 处 于 中 间 的 连接 技术 。 为 了 更 加 高 效 地 连接 外 
部 云 和 内 部 云 的 计算 和 存储 环境 ， 混 合 云 解决 方案 需要 提供 企业 级 的 安全 性 、 跨 云 平台 的 
可 管理 性 、 负 载 /数据 的 可 移植 性 以 及 互 操作 性 。 

由 于 安全 和 控制 原因 ， 并 非 所 有 的 企业 信息 都 能 放置 在 公有 云 上 ， 这 样 大 部 分 已 经 应 
用 云 计 算 的 企业 将 会 使 用 混合 云 模式 。 在 未 来 ， 可 以 利用 混合 云 计算 来 充分 挖掘 、 发 挥 国 
网 数据 资产 的 商业 价值 。 


8.2.6 机 器 学 习 


机 器 学 习 〈Machine Learning，ML) 是 一 门 多 领域 交叉 学 科 ， 涉 及 概率 论 、 统 计 学 、 
台 近 论 、 凸 分 析 、 算 法 复杂 度 理论 等 多 门 学 科 ， 专 门 研究 计算 机 怎样 模拟 或 实现 人 类 的 学 
习 行 为 ， 以 获取 新 的 知识 或 技能 ， 重 新 组 织 已 有 的 知识 结构 使 之 不 断 改善 自身 的 性 能 。 它 
是 人 工 智能 的 核心 。 

深度 学 习作 为 机 器 学 习 研 究 中 的 一 个 新 的 领域 ， 其 动机 在 于 建立 、 模 拟人 脑 进行 分 析 
学 习 的 神经 网 络 ， 模 仿 人 脑 的 机 制 来 识别 图 像 、 声 音 和 文本 等 数据 。 简 单 来 说 ， 深 度 学 习 
是 一 种 机 器 学 习 的 演进 ， 可 以 说 是 大 数据 分 析 的 进化 版 。 

深度 学 习 带 来 的 各 项 突破 ， 包 括 计 算 机 视觉 的 发 展 ， 推 动 了 下 一 代 智能 汽车 的 不 断 完 
善 ， 以 及 应 用 于 蛋白 质 分 析 等 生物 和 医药 领域 并 取得 重要 成 果 ， 都 预示 着 深度 学 习 不 仅 成 
为 新 一 代 信息 科学 研究 的 主流 方法 ， 更 逐渐 演变 为 一 项 核心 通用 技术 和 基础 技术 。 深 度 学 
习 中 的 自然 语言 、 图 像 、 声 音 识 别 和 语言 翻译 等 技术 可 应 用 在 电力 客服 、 智 能 机 器 人 、 运 
维 智 能 化 等 方面 。 
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8.2.7 ”相干 光 通 信 


相干 光 通 信和 是 采用 相干 调制 、 外 差 检 测 等 技术 进行 信号 收发 、 传 输 的 光 通信 技术 。 该 
技术 的 应 用 可 改善 信号 接收 灵敏 度 ， 提 升 光线 通信 无 中 继 传 输 性 能 ， 具 备 波长 选择 性 能 ， 
可 缩小 波长 复 用 间隔 提升 传输 容量 ;可 通过 多 种 复杂 调制 信号 的 多 参量 探测 提升 传输 效 
率 。 它 是 大 容量 光纤 传输 公认 的 重要 发 展 方向 。 

所 谓 相干 调制 ， 就 是 利用 要 传输 的 信号 来 改变 光 载波 的 频率 、 相 位 和 振幅 〈 而 不 像 强 
度 检 测 那 样 只 是 改变 光 的 强度 ) ， 这 就 需要 光 信 号 有 确定 的 频率 和 相位 〈 而 不 像 自然 光 那 
样 没有 确定 的 频率 和 相位 ) ， 即 应 是 相干 光 。 激 光 就 是 一 种 相干 光 。 所 谓 外 差 检测 ， 就 是 
利用 一 束 本 机 振荡 产生 的 激光 与 输入 的 信号 光 在 光 混 频 器 中 进行 混 频 ， 得 到 与 信号 光 的 频 
率 、 位 相 和 振幅 按 相 同 规律 变化 的 中 频 信 号 。 

相干 光 通 信 得 到 了 迅速 的 发 展 ， 特 别 是 对 于 超 长 波长 (2 一 10hm) 光纤 通信 来 说 ， 相 
干 光 通信 最 具 吸 引力 。 因 为 在 超 长 波段 ， 由 瑞 利 散射 决定 的 光纤 固有 损耗 将 进一步 大 幅度 
降低 〈 瑞 利 散 射 损耗 与 入 射 波长 的 四 次 方 成 反比 ) ， 故 从 理论 上 讲 ， 在 超 长 波段 可 实现 光 
纤 跨 洋 无 中 继 通 信 。 

与 现 有 光纤 通信 技术 相 比 ， 相 干 光 通 信 具 有 更 大 的 通信 容量 及 更 长 的 无 中 继 传输 距 
离 ， 可 应 用 于 电力 骨干 通信 网 传输 链 路 ， 提 升 通信 距离 及 传输 容量 ， 可 用 于 数据 中 心 通 信 
链 路 ， 实 现 三 地 数据 中 心 的 数据 高 速 传输 ， 提 升 数据 中 心 信息 互 备 能 力 ， 可 用 于 支撑 全 球 
能 源 互联 网 广 域 通 信 ， 通 过 传输 距离 的 大 幅 提升 支撑 洲际 通信 、 海 底 长 距离 通信 ， 通 过 密 
集 波 分 复 用 提升 信息 的 传输 容量 ， 推 动 全 球 能 源 互 联网 信息 的 大 范围 调控 。 


8.2.8 下 一 代 PON 


随 着 各 国 宽带 政策 的 驱动 以 及 用 户 对 带宽 需求 的 持续 增长 ， 现 在 光纤 接 入 网 开始 进入 
大 规模 布 放 的 时 代 ，“ 最 后 一 公里 ”的 方案 已 经 开始 切实 推行 。 

当前 主流 的 PON 系 统 包 括 GPON 和 EPON。 它 们 有 相同 的 上 下 行 波长 ， 即 1310nm 和 
1490nm。 而 下 一 代 10G PON 系 统 采用 的 上 下 行 波长 是 1270nm 和 1577nm。 两 代 PON 系 统 之 
间 可 以 通过 波 分 复 用 器 件 共存 在 同一 个 ODN 上 。 

WDM-PON 是 一 种 采用 波 分 复 用 技术 的 点 对 点 无 源 光 网 络 技术 ， 结 合 了 WDM 技 术 和 
PON 拓 扑 结构 的 优点 ， 发 展 成 为 高 性 能 的 接 入 方式 ， 是 业界 公认 的 PON 重 要 技术 发 展 方 
向 。 和 主流 的 EPON/GPON 比 较 而 言 ， 它 具备 很 多 优点 : 可 节约 光纤 和 OSP 成 本 ， 传 输 距 
离 更 长 ， 对 速率 、 业 务 完全 透明 ， 更 具 扩展 性 ， 安 全 性 更 高 ， 更 易于 维护 。 

如 图 8.1 所 示 ， 整 个 WDM-PON 网 络 呈 简洁 的 对 称 结构 : OLT 和 ONU 都 由 LD 发 射 机 、 
Rx 接 收 机 和 AWG 波 导 阵列 光栅 组 成 。 每 个 用 户 独 享 一 个 波长 ， 所 有 用 户 通过 波 分 复 用 的 
方式 在 同一 根 主干 光纤 汇聚 ， 因 此 既 保存 了 点 对 点 的 以 太 网 特性 ， 同 时 又 可 共享 光纤 。 
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图 8.1 WDM-PON 网 络 示意 图 

WDM-PON 的 用 户 数 由 AWG 的 通道 间隔 和 波段 决定 。 目 前 以 32 路 通道 、 间 隔 100GHz 
为 主 ， 后 续 研 究 集中 在 通过 扩大 波段 或 者 减 小 通道 间隔 的 方式 延伸 到 64 个 用 户 ， 并 把 通道 
的 速率 从 1.25Gbps 提 升 到 2.5Gbps 或 更 高 。 

下 一 代 PON 技 术 通过 波长 复 用 技术 可 实现 通信 容量 扩容 ， 与 时 分 复 用 接 入 网 技术 相 
比 ， 在 相同 通信 带宽 要 求 下 可 实现 数 十 倍 通信 终端 的 覆盖 ， 可 用 于 支撑 用 电信 息 采 集 等 终 
端 数量 较 多 的 电力 应 用 场景 ， 电 力 视频 监控 、 智 能 用 电 、 智 能 办 公 等 带宽 需求 较 高 的 电力 
应 用 场景 ， 同 时 可 通过 波长 隔离 实现 配 、 用 电 业 务 的 同 网 传输 ， 实 现 高 可 靠 多 业务 承载 。 


8.2.9 5G 通 信 


第 五 代 移动 电话 行动 通信 标准 ， 也 称 第 五 代 移 动 通信 技术 ， 缩 写 为 5G， 其 技术 发 展 
尚 处 于 探索 阶段 。5G 将 具有 超 高 的 频谱 利用 率 和 能 效 ， 具 有 卓越 的 无 线 覆 盖 性 能 、 传 输 
时 延 、 系 统 安全 和 用 户 体验 ;具备 网 络 自 感知 、 自 调整 等 灵活 组 网 能 力 ， 可 高 效应 对 未 来 
移动 信息 社会 难以 预计 的 快速 变化 。 

5G 研 究 的 关键 技术 主要 集中 在 大 规模 天 线 阵列 、 超 密集 组 网 、 新 型 多 址 、 全 频谱 接 
入 和 新 型 网 络 架构 等 方面 。 大 规模 天 线 阵 列 是 提升 系统 频谱 效率 的 最 重要 技术 手段 之 一 ， 
对 满足 5G 系 统 容量 和 速率 需求 将 起 到 重要 的 支撑 作用 ; 超 密 集 组 网 通过 增加 基站 部 署 密 
度 ， 可 实现 百倍 量 级 的 容量 提升 ， 是 满足 5G 千 倍 容量 增长 需求 的 最 主要 手段 之 一 ， 新 型 
多 址 技术 通过 发 送信 号 的 又 加 传输 来 提升 系统 的 接 入 能 力 ， 可 有 效 支撑 5G 网 络 千 亿 设备 
连接 需求 ， 全 频谱 接 入 技术 通过 有 效 利用 各 类 频谱 资源 ， 可 有 效 缓解 3G 网 络 对 频谱 资源 
的 巨大 需求 ， 新 型 网 络 架构 基于 SDN、NFV 和 云 计 算 等 先进 技术 ， 可 实现 以 用 户 为 中 心 的 
更 灵活 、 智 能 、 高 效 和 开放 的 5G 新 型 网 络 。 

在 未 来 的 5G 网 络 中 ， 随 着 智能 移动 终端 的 不 断 普及 和 快速 发 展 的 应 用 服务 ， 用 户 的 
移动 数据 业务 需求 量 将 不 断 增长 ， 对 业务 服务 质量 的 要 求 也 不 断 提升 。 与 现 有 光纤 通信 
网 络 相 比 ，5G 网 络 技术 性 能 优越 ， 可 以 较 低 成 本 运行 ， 网 络 结构 灵活 、 扩 展 方便 ， 易 于 
建设 、 易 于 维护 、 容 易 使 用 ， 广 泛 应 用 于 输 变 电 在 线 监测 、 配 电 自动 化 、 用 电信 息 采 集 
及 配 网 检修 等 领域 ， 在 公司 无 线 网 络 建设 及 运 维 方面 具有 显著 的 技术 优势 ， 应 用 前 景 
广阔 。 
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8.2.10 ”空地 互联 技术 


空地 互联 网 是 指 将 地 面 互联 网 概念 引申 到 空间 信息 网 络 ， 利 用 地 面 互联 网 技术 优 
势 ， 以 卫星 星际 链 路 为 物理 传输 媒介 ， 按 照 高 效 利用 、 综 合集 成 的 原则 ， 构 建 的 集成 
化 、 智 能 化 、 综 合 一 体 的 空地 一 体 化 信息 网 络 。 空 地 互联 网 技术 的 突破 ， 可 将 空间 通信 
与 地 面 通信 资源 进行 有 效 协同 ， 应 用 空间 通信 大 大 延伸 地 面 通信 的 覆盖 范围 ， 形 成 覆盖 
全 球 的 天 地 融合 网 络 ， 实 现 大 地 理 尺度 的 广 域 通信 ， 有 效 支 持 全 球 能 源 互 联网 的 大 范围 
全 天 候 通 信 。 

空地 互联 网 技术 可 将 电力 地 面 通信 资源 与 公用 或 专用 空间 通信 资源 有 效 组 织 在 一 起 ， 
共同 形成 覆盖 全 球 的 通信 网 络 ， 实 现 不 同 终端 的 广 域 覆 盖 ， 可 用 于 灾害 条 件 下 电力 应 急 通 
信 、 能 源 互联 网 广 域 通 信 及 电力 设施 高 精度 定位 及 时 间 同 步 ， 实 现 信息 的 大 范围 、 快 速 、 
灵活 调度 ， 有 效 支撑 全 球 范围 能 源 的 高 效 、 灵 活 互联 。 


8.2.11 软件 定义 架构 


软件 定义 架构 ， 是 针对 目前 的 大 数据 和 云 平台 所 提出 的 一 种 体系 架构 。 该 架构 将 各 种 
不 同 厂 商 的 软 硬 件 资源 的 控制 、 计 算 等 软件 功能 统一 提取 出 来 ， 形 成 一 个 虚拟 的 控制 操作 
中 心平 台 ， 即 云 化 ， 从 而 可 统一 管理 ， 降 低 了 管理 成 本 ， 使 硬件 具有 很 强 的 扩展 性 和 可 配 
置 性 。 

软件 定义 的 架构 包括 软件 定义 网 络 SDN) ， 软 件 定义 数据 中 心 SDDC〉， 软 件 定 
义 存储 SDS) 和 软件 定义 应 用 (SDA) 。 

未 来 在 国 网 公司 ， 软 件 定义 网 络 CSDN) 可 以 形成 统一 的 虚拟 网 络 ， 软 件 定义 数据 中 
心 (SDDC) 可 用 于 各 现 有 数据 中 心 和 三 地 数据 灾 备 中 心 ， 软件 定义 存储 〈SDS) 可 用 于 
统一 管理 各 种 存储 设备 ， 软 件 定义 应 用 〈(SDA) 可 用 于 应 用 商店 ， 实 现 各 种 微 应 用 快速 分 
发 。 软 件 定义 可 以 提升 信息 通信 运 维 自动 化 水 平 。 


8.2.12 ”信息 物理 融合 系统 


信息 物理 融合 系统 CPS 是 一 个 综合 计算 、 网 络 和 物理 环境 的 多 维 复 杂 系 统 ， 通 过 3C 
(Computation、Communication、Control) 技术 的 有 机 融合 与 深度 协作 ， 实 现 大 型 工程 系 
统 的 实时 感知 、 动 态 控制 和 信息 服务 。 

CPS 是 近年 来 伴随 嵌入 式 技 术 、 计 算 机 技术 、 网 络 技术 快速 发 展 应 运 而 生 的 一 种 新 型 
智能 系统 ， 其 在 物理 世界 感知 的 基础 上 ， 通 过 计算 、 通 信 、 控 制 有 机 融合 与 深度 协作 ， 实 
现 信息 域 与 物理 域 的 紧密 结合 ， 使 物理 系统 具有 更 高 的 灵活 性 、 自 治 性 、 可 靠 性 、 经 济 性 
和 安全 性 。 
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CPS 系 统 把 计算 与 通信 深 深 地 嵌入 实物 过 程 ， 使 之 与 实物 过 程 密切 互动 ， 从 而 给 实 
物 系 统 添加 新 的 能 力 。 这 种 CPS 系 统 小 如 心脏 起 捕 器 ， 大 如 国家 电网 。 由 于 计算 机 增强 的 
(computer-augmented) 装置 无 处 不 在 ， 因 此 CPS 系 统 具 有 巨大 的 经 济 影响 力 。 

CPS 是 电力 、 能 源 等 大 型 基础 设施 的 基础 ， 可 应 用 于 电力 物 联 网 、 分 布 式 电源 控制 、 
电网 故障 预警 及 自 愈 、 电 网 安全 防护 等 领域 。 

(1) 电力 物 联 网 ， 显 著 提 升 电网 的 信息 感知 、 集 成 、 共 享 和 协同 能 力 ， 是 物 联网 的 
进一步 深化 和 演进 。 

(2) 分 布 式 电 源 控制 : 显著 提升 电网 的 自 组 织 、 自 适应 能 力 ， 支 持 全 局 优化 与 局 部 
控制 的 协同 ， 实 现 分 布 式 电源 的 “ 即 插 即 用 ”。 

(3) 电网 故障 预警 及 自 愈 : 使 电网 具备 大 规模 分 布 式 实时 计算 的 能 力 ， 满 足 电网 对 
可 靠 性 和 控制 的 实时 性 要 求 ， 实 现 电网 故障 的 及 时 预警 及 自 愈 。 

(4) 电网 安全 防护 : 增强 电网 抵御 安全 威胁 和 风险 的 能 力 ， 通 过 建立 不 同 防护 手段 
的 相互 协调 机 制 ， 实 现 电 网 信息 空间 、 物 理 空间 的 协同 安全 保障 。 


8.2.13 北斗 卫星 导航 技术 


中 国 北斗 卫星 导航 系统 (BeiDou Navigation Satellite System，BDS) 是 中 国 自 行 研 
制 的 全 球 卫星 导航 系统 ， 是 继 美国 全 球 定位 系统 (GPS) 、 俄 罗斯 格 洛 纳 斯 卫星 导航 系 
统 (GLONASS) 之 后 第 三 个 成 熟 的 卫星 导航 系统 。 北 斗 卫星 导航 系统 (BDS) 和 美国 
GPS、 俄 罗斯 GLONASS、 欧 盟 GALILEO 都 是 联合 国 卫星 导航 委员 会 已 认定 的 供应 商 。 

北斗 卫星 导航 系统 由 空间 段 、 地 面 段 和 用 户 段 三 部 分 组 成 ， 可 在 全 球 范围 内 全 天 候 、 
全 天 时 为 各 类 用 户 提供 高 精度 、 高 可 靠 定位 、 导 航 、 授 时 服务 ， 并 具 短 报 文通 信和 能 力 ， 已 
经 初步 具备 区 域 导航 、 定 位 和 授时 能 力 ， 定 位 精度 为 10m， 测 速 精度 为 0.2m/s， 授 时 精度 
10ns， 可 广泛 应 用 于 : 

(1) 实现 北斗 卫星 导航 系统 全 球 覆 盖 ， 为 全 球 用 户 提供 导航 定位 服务 ， 提 供 实 时 分 
米 级 和 事后 厘米 级 定位 服务 ， 实 现 室内 外 无 颖 定位 服务 。 

(2) 进一步 提升 北斗 卫星 导航 芯片 、 北 斗 导 航 终端 与 其 他 卫星 导航 系统 兼容 应 用 等 
技术 水 平 ， 实 现 卫星 导航 与 移动 通信 、 互 联网 、 遥 感 等 领域 的 融合 应 用 。 

(3) 将 北斗 时 间作 为 国家 时 间 频 率 计量 基准 ， 为 国家 安全 和 国民 经 济 重要 领域 提供 
时 频 保障 ， 能 源 〈 电 力 ) 、 通 信 、 人 金融 、 公 安 等 重要 领域 全 面 应 用 北斗 卫星 导航 系统 。 

(4) 北斗 卫星 导航 技术 结合 新 一 代 信 息 技术 发 展 ， 创 新 应 用 服务 模式 ， 推 进 卫星 导 
航 与 物 联网 、 移 动 互 联 、 三 网 融合 等 的 广泛 融合 与 联动 ， 形 成 行业 综合 应 用 解决 方案 ， 提 
升 行业 运行 效率 。 

(5) 适应 车 辆 、 个 人 应 用 领域 的 卫星 导航 大 众 市 场 需求 ， 以 位 置 服务 为 主线 ,创新 
商业 和 服务 模式 ， 构 建 位 置信 息 综合 服务 体系 。 
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8.2.14 遥感 及 高 分 影像 


遥感 技术 是 从 远 距离 感知 目标 反射 或 自身 辐射 的 电磁 波 、 可 见 光 、 红 外 线 ， 对 目标 进 
行 探 测 和 识别 的 技术 ， 例 如 航空 摄影 就 是 一 种 遥感 技术 。 人 造 地球 卫 星 发 射 成 功 ， 大 大 推 
动 了 还 感 技术 的 发 展 。 现 代 遥 感 技术 主要 包括 信息 的 获取 、 传 输 、 存 储 和 处 理 等 环节 。 完 
成 上 述 功 能 的 全 套 系统 称 为 遥感 系统 ， 其 核心 组 成 部 分 是 获取 信息 的 遥感 器 。 遥 感 器 的 种 
类 很 多 ， 主 要 有 照相 机 、 电 视 摄像 机 、 多 光谱 扫描 仪 、 成 像 光 谱 仪 、 微 波 辐射 计 、 合 成 孔 
径 雷 达 等 。 传 输 设备 用 于 将 遥感 信息 从 远 距 离 平台 〈 如 卫星 ) 传 回 地 面 站 。 信 息 处 理 设备 
包括 彩色 合成 仪 、 图 像 判 读 仪 和 数字 图 像 处 理 机 等 。 

遥感 及 高 分 影像 将 朝 信息 接收 范围 广 、 地 物 识别 能 力 强 方向 发 展 ， 可 在 电网 规划 、 工 
程 设计 、 安 全 巡 检 、 应 急 等 电网 业务 中 应 用 。 


8.2.15 通信 网 络 虚 拟 融合 


通信 网 络 虚 拟 融合 技术 通过 融合 的 网 络 控制 层 ， 对 传统 网 络 、OpenFlow、 网 络 功能 
虚拟 化 《NFV) 等 各 种 不 同 的 底层 网 络 架构 进行 支撑 和 融合 ， 打 破 通信 蜡 构 资 源 管控 壁 
垒 ， 可 面向 用 户 应 用 /业务 系统 智能 化 地 统筹 分 配 基础 通信 资源 ， 并 实现 端 到 端的 监控 和 
精细 控制 。 

目前 通信 虚拟 化 技术 NEFV 预 计 于 2018 年 底 商用 ， 通 信 SDN 尚 在 研究 中 。 虚 拟 融合 技术 
充分 应 用 了 NFV、SDN、NV 的 融合 优势 ， 目 前 研究 处 于 起 步 阶段 。 

通信 网 络 虚 拟 融 合 技 术 可 在 电力 骨干 传输 网 、 数 据 中 心 及 能 源 互 联网 等 场景 应 用 ， 提 
升 网 络 业务 质量 及 多 业务 承载 能 力 。 

(1) 骨干 传输 网 :用 于 骨干 通信 资源 的 统筹 管理 及 灵活 调度 ， 实 现 管道 智能 化 ， 在 
保障 业务 安全 的 同时 提高 业务 传输 质量 。 

(2) 数据 中 心 传输 链 路 : 通过 感知 数据 中 心间 链 路 利用 率 及 故障 情况 ， 进 行 逐 类 业 
务 路 径 选 择 ， 实 现 流 量 调度 ， 保 证 业务 质量 。 

(3) 配 用 电 多 业务 承载 :实现 异 构 融合 网 络 资源 的 联合 管理 及 智能 调度 ， 通 过 业务 
智能 识别 实现 跨 区 业务 的 分 等 级 安全 保障 。 
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9.1 电网 数据 采集 技术 


电网 数据 按照 大 类 划分 ， 可 划分 为 结构 化 数据 、 非 结构 化 数据 、 海 量 实 时 数据 和 电网 
GIS 数 据 四 个 大 的 分 类 。 结 构 化 数据 也 称 作 行 数据 ， 能 够 用 数据 或 统一 的 结构 加 以 表示 ， 
是 由 二 维 表 结 构 来 逻辑 表达 和 实现 的 数据 ， 严 格 地 遵循 数据 格式 与 长 度 规范 ， 主 要 通过 关 
系 型 数据 库 进 行 存 储 和 管理 。 与 之 对 应 的 不 适 于 由 二 维 表 来 表现 的 非 结构 化 数据 ， 包 括 所 
有 格式 的 办 公文 档 、XML、HTML、 各 类 报表 、 图 片 和 音频 、 视 频 信 息 等 。 非 结构 化 数 
据 格式 非常 多 样 ， 标 准 也 是 多 样 性 的 ， 而 且 在 技术 上 非 结构 化 信息 比 结构 化 信息 更 难 标准 
化 和 理解 。 所 以 存储 、 检 索 、 发 布 以 及 利用 需要 更 加 智能 化 的 IT 技术 ， 比 如 海量 存储 、 智 
能 检索 、 知 识 挖掘 、 内 容 保护 、 信 息 的 增值 开发 利用 等 。 海 量 实时 数据 ， 数 据 量 很 大 ， 无 
法 在 短 时 间 内 迅速 解决 或 者 是 无 法 一 次 性 装 入 内 存 的 时 刻 都 在 发 生变 化 的 数据 。 电 网 GIS 
数据 是 指 将 电力 企业 的 电力 设备 、 变 电站 、 输 配 电网 络 、 电 力 用 户 与 电力 负荷 和 生产 及 管 
理 等 核心 业务 连接 形成 电力 信息 化 的 生产 管理 的 综合 信息 系统 的 数据 。 电 网 GIS 数 据 包括 
电力 设备 设施 信息 、 电 网 运行 状态 信息 、 电 力 技术 信息 、 生 产 管理 信息 、 电 力 市 场 信息 与 
山川 、 河 流 、 地 势 、 城 镇 、 公 路 街道 、 楼 群 ， 以 及 气象 、 水 文 、 地 质 、 资 源 等 自然 环境 信 
息 ， 可 通过 GIS 系 统 查询 有 关 数 据 、 图 片 、 图 像 、 地 图 、 技 术 资 料 、 管 理 知识 等 。 


9.1.1 结构 化 数据 采集 


结构 化 数据 采集 的 一 般 是 通过 关系 型 数据 库 之 间 的 同 / 异 构 采 集 机 制 和 ETL 工 具 来 实现 
数据 的 采集 过 程 ， 像 SQL Server 的 故障 转移 群集 、Oracle 数 据 库 之 间 的 Oracle Golden Gate 
采集 、MySQI 系 统 的 主 从 复制 功能 等 。 


1. SQL Server 故 障 转移 群集 


SQL Server 2012 所 支持 的 AlwaysOn 技 术 集 中 了 故障 转移 群集 、 数 据 库 镜 像 和 日 志 
送 三 者 的 优点 ， 但 又 不 相同 。 故 障 转移 群集 的 单位 是 SQL 实例 ， 数 据 库 镜 像 和 日 志 传送 的 
单位 是 单个 用 户 数据 库 ， 而 AlwaysOn 支 持 的 单位 是 可 用 性 组 ， 每 个 组 中 可 以 包括 一 个 或 
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者 是 多 个 用 户 数据 库 。 也 就 是 说 ， 一 旦 发 生 切换 ， 则 可 用 性 组 中 的 所 有 数据 组 会 作为 一 个 
整体 进行 切换 。 

AlwaysOn 底 层 依 然 采 用 Windows 故 障 转移 群集 的 机 制 进行 监测 和 转移 ， 因 此 也 需要 先 
建立 Windows Cluster， 只 不 过 可 用 性 组 中 的 数据 库 不 一 定 非 要 再 存放 在 共享 存储 上 了 ， 也 
可 以 存储 在 本 地 磁盘 上 。 

AlwaysOn 的 关键 特性 如 下 。 

@ 同 故障 转移 群集 一 样 ， 也 需要 一 个 虚拟 网 络 名 称 用 于 客户 端的 统一 连接 。 

@ 一 个 主 服务 器 可 以 最 多 对 应 4 个 辅助 服务 器 ， 总 数 达 到 5 个 ， 而 且 辅 助 服务 器 支持 

只 读 功 能 。 
@ 辅助 服务 器 可 以 独立 执行 备份 和 DBCC 维 护 命令 。 通 过 配置 可 以 实现 客户 端的 只 
读 请 求 ， 可 以 被 自动 定向 到 辅助 服务 器 。 

@ 主 服务 器 和 辅助 服务 器 之 间 的 数据 会 被 加 密 和 压缩 ， 以 提高 安全 性 和 网 络 传输 

@ 支持 自动 、 手 动 和 强制 3 种 故障 转移 方式 。 

@ 有 仪表 盘 用 于 监控 AlwaysOn 的 运行 状态 。 

@ 可 以 实现 多 站 点 的 部 署 ， 即 主 站 点 和 辅助 站 点 可 以 跨 物 理 网 络 。 

在 Windows MSCS 故 障 转移 群集 的 基础 上 部 署 AlwaysOn 高 可 用 组 ， 用 户 可 以 在 群集 
节点 上 安装 SQL Server 单 机 实例 ， 也 可 以 安装 SQL Server 和 群集 实例 ，AlwaysOn 仅 要 求 所 有 
SQL Server 实 例 都 运行 在 同一 个 MSCS 中 ， 但 SQL Server 实 例 本 身 是 不 需要 群集 模式 的 ， 这 
与 SQL Server 2008 群 集 的 实例 完全 不 同 。 

在 此 推荐 使 用 单机 模式 的 SQL Server， 其 好 处 是 如 果 可 用 性 副本 为 单机 实例 ， 那 么 数 
据 库 副本 就 存放 在 运行 该 实例 节点 的 本 地 磁盘 上 ; 如 果 可 用 性 副本 是 个 群集 实例 ， 那 么 数 
据 库 副本 就 存放 在 共享 磁盘 上 。 

可 用 性 组 从 Windows 和 群集 角度 来 看 ， 就 是 一 个 群集 资源 ， 其 中 的 所 有 数据 库 作 为 一 个 
整体 在 节点 间 进 行 故障 转移 ， 当 然 这 不 包括 系统 数据 库 ， 系 统 数据 库 是 不 能 加 入 高 可 用 性 
组 中 的 。 
因为 需要 借助 Windows 群 集 实现 监控 和 转移 ， 所 以 AlwaysOn 会 受到 一 些 限制 ; 

(1) 一 个 可 用 性 组 中 的 所 有 可 用 性 副本 必须 运行 在 单一 的 Windows 群 集 上 ， 跨 不 同 
Windows 群 集 的 SQL Server 实 例 不 能 配置 成 一 个 AlwaysOn 可 用 性 组 。 

(2) 一 个 可 用 性 组 的 所 有 可 用 性 副本 必须 运行 在 Windows 群 集 的 不 同 节点 上 。 运 行 
在 同一 个 节点 上 的 两 个 不 同 实例 不 能 用 作 同 一 个 可 用 性 组 的 副本 。 

(3) 如 果 某 个 可 用 性 副本 实例 是 一 个 SQL 群集 实例 ， 那 么 同一 个 SQL 和 群集 的 其 他 非 
活跃 节点 上 安装 的 任何 其 他 SQL 实例 都 不 能 作为 它 的 辅助 副本 。 

(4) 一 个 数据 库 只 能 属于 一 个 可 用 性 组 。 

AlwaysOn 最 多 可 以 支持 5 个 副本 ,但 只 有 一 个 可 用 性 副本 上 运行 的 数据 库 是 处 于 可 读 
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写 状态 。 这 个 可 读 写 的 数据 库 被 称 为 主 数据 库 ， 同 时 这 个 可 用 性 副本 被 称 为 主 副本 。 其 余 
的 副本 都 被 称 为 辅助 副本 ， 辅 助 副 本 上 的 数据 库 可 能 是 不 可 访问 的 ， 或 者 是 只 能 接受 只 读 
操作 《取决 于 可 用 性 组 的 配置 ) ， 这 些 数据 库 被 称 为 辅助 数据 库 。 一 旦 发 生 故 障 转移 ， 任 
何 一 个 辅助 副本 都 可 以 成 为 新 的 主 副本 实例 。 主 副本 会 不 断 地 将 主 数据 库 上 的 数据 变化 
发 送 到 辅助 副本 ， 来 实现 副本 间 的 数据 库 同 步 。 图 9.1 显 示 一 个 可 用 性 组 中 各 副本 之 间 的 


关系 。 


AlwaysOn 可 用 性 组 与 Windows 故 障 转移 群集 之 间 的 关系 如 图 9.2 所 示 。Windows 的 故障 
转移 群集 使 用 到 了 两 个 子 网 ， 在 左边 的 子 网 里 有 两 个 节点 ; 右边 的 子 网 里 有 3 个 节点 。 其 
中 右边 子 网 最 右边 两 个 节点 上 创建 了 一 个 SQL Server 的 群集 实例 ， 存 放 于 共享 存储 ， 其 他 
3 个 节点 安装 的 是 单机 实例 ， 存 放 于 本 地 存储 。 这 样 一 共 4 个 实例 组 成 了 一 个 AlwaysOn 可 


Windows Server 故 障 转移 群集 (WSFC) 


| ”MyAg 可 用 性 组 的 WSFC 资 源 组 | 
节点 01 节点 02 节点 03 节点 04 
SQL Server SQL Server SQL Server SQL Server SQL Server 
实例 实例 实例 实例 实例 
MyAg 可 用 性 组 


省 | 种] 兽 [ 吕 [ 壮 


图 9.1 可 用 性 组 中 各 副本 之 间 的 关系 


用 性 组 ， 其 中 一 个 是 主 副本 ， 其 余 都 是 辅助 副本 。 


Windows Server 故 障 转移 群集 (WSFC) 群集 


AlwaysOn 可 用 性 组 


主 副本 。 辅助 副本 辅助 副本 辅助 副本 
加 @ 自 
可 用 性 组 侦 听 器 网 络 名 称 | 


WSFC 仲 裁 见证 服务 器 远程 文件 共享 


图 9.2 AlwaysOn 可 用 性 组 与 Windows 故 障 转移 群集 之 间 的 关系 
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AlwaysOn 创 建 后 ， 客 户 端 就 需要 进行 连接 。 为 了 让 应 用 程序 能 够 透明 地 连接 到 主 副 
本 而 不 受 故 障 转移 的 影响 ， 需 要 创建 一 个 侦 听 器 。 侦 听 器 是 一 个 虚拟 的 网 络 名 称 ， 可 以 
通过 这 个 虚拟 网 络 名 称 访问 可 用 性 组 ， 而 不 用 关心 连接 的 是 哪 一 个 节点 ， 它 会 自动 将 请 
求 转发 到 主 节 点 ， 当 主 节点 发 生 故 障 后 ， 辅 助 节点 会 变 为 主 节点 ， 侦 听 器 也 会 自动 去 侦 
听 主 节点 。 

一 个 侦 听 器 包括 虚拟 耳 地址、 虚拟 网 络 名 称 、 端 口号 3 个 元 素 ， 一 旦 创建 成 功 ， 虚 拟 
网 络 名 称 会 注册 到 DNS 中 ， 同 时 为 可 用 性 组 资源 添加 耳 地 址 资源 和 网 络 名 称 资源 ， 用 户 就 
可 以 使 用 此 名 称 来 连接 到 可 用 性 组 中 。 与 故障 转移 群集 不 同 ， 除 了 使 用 虚拟 网 络 名 称 之 
外 ， 主 副本 的 真实 实例 名 还 可 以 被 用 来 实现 连接 。 

SQL Server 2012 的 早期 版 本 SQL Server 只 有 在 实例 启动 时 会 尝试 绑 定 IP 和 端口 ， 但 是 
SQL Server 2012 却 允许 在 副本 实例 处 于 运行 状况 时 随时 绑 定 新 的 耳 地址 、 网 络 名 称 和 端口 
号 。 因 此 可 以 随时 为 可 用 性 组 添加 侦 听 器 ， 而 且 这 个 操作 会 立即 生效 。 当 添加 了 侦 听 器 之 
后 ， 在 SQL Server 的 错误 日 志 中 可 以 看 到 类 似 “ 在 虚拟 网 络 名 称 上 停止 和 启动 侦 听 器 ”的 
消息 。 

要 注意 的 是 ，SQL Browser 服 务 是 不 支持 Listener 的 。 这 是 因为 应 用 程序 在 使 用 Listener 
的 虚拟 网 络 名 连接 SQL Server 时 ， 是 以 一 个 默认 实例 的 形式 进行 访问 的 〈 只 有 主机 名 ， 没 
有 实例 名 ) ， 因 此 客户 端 根本 就 不 会 去 尝试 使 用 SQL Browser 服 务 。 

AlwaysOn 必 须要 维护 各 副本 间 的 数据 一 致 性 ， 当 主 副 本 上 的 数据 发 生变 化 ， 会 同步 
到 辅助 副本 上 。 这 里 AlwaysOn 通 过 3 个 步骤 来 完成 : 

(1) 主 副本 记录 发 生变 化 的 数据 。 
(2) 将 记录 传输 到 各 个 辅助 副本 。 
(3) 把 数据 变化 操作 在 辅助 副本 上 执行 一 遍 。 

具体 实现 如 下 : 

在 主 副 本 和 辅助 副本 上 ，SQL Server 都 会 启动 相应 的 线程 来 完成 相应 的 任务 。 对 于 
一 般 的 SQL Server 服 务 器 ， 即 没有 配置 高 可 用 性 且 会 运行 Log Writer 的 线程 ， 当 发 生 数 据 
修改 事务 时 ， 此 线程 负责 将 本 次 操 对 应 的 日 志 信息 记录 到 日 志 缓冲 区 中 ， 然 后 再 写 入 到 
物理 日 志文 件 。 但 如 果 配 置 了 AlwaysOn 主 副本 的 数据 库 ，SQL Server 会 为 它 建立 一 个 叫 
Log Scanner 的 线程 ， 不 间断 地 工作 ， 负 责 将 日 志 从 日 志 缓冲 区 或 日 志文 件 里 读 出 ， 打 
包 成 日 志 块 ， 并 发 送 到 辅助 副本 。 因 此 可 以 保证 发 生 的 数据 变化 时 ， 不 断 传送 给 各 辅 
助 副本 。 

辅助 副本 上 存在 固化 和 重 做 两 个 线程 以 完成 数据 更 新 操作 ， 固 化 线程 会 将 主 副本 Log 
Scanner 发 送 过 来 的 日 志 块 写 入 辅助 副本 磁盘 上 的 日 志文 件 里 ， 因 此 称 为 固化 ， 然 后 重 做 
线程 负责 从 磁盘 上 读 取 日 志 块 ， 将 日 志 记录 对 应 的 操作 重演 一 遍 ， 此 时 主 副本 和 辅助 副 
本 上 的 数据 就 一 致 了 。 重 做 线程 每 隔 固定 的 时 间 点 ， 会 跟 主 副本 通信 ， 告 知 自 己 的 工作 
进度 ， 主 副本 由 此 知道 两 边 数据 的 差距 。Log Scanner 负 责 传送 日 志 块 ， 不 需要 等 待 Log 
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Writer 完 成 日 志 固化 ;辅助 副本 完成 日 志 固化 以 后 就 会 发 送 消息 到 主 副本 ， 告 知 数据 传输 
完成 ， 而 不 需要 等 待 重 做 完成 。 这 样 各 自 独立 的 设计 ， 是 为 尽 可 能 减少 AlwaysOn 所 带 来 
的 操作 对 数据 库 性 能 的 影响 。 


2. Oracle 的 Oracle Golden Gate 采 集 机 制 


Oracle Golden Gate 软 件 是 一 种 基于 日 志 的 结构 化 数据 复制 备份 软件 ， 它 通过 解析 源 数 
据 库 在 线 日 志 或 归档 日 志 获 得 数据 的 增 量 变化 ， 再 将 这 些 变化 应 用 到 目标 数据 库 ， 从 而 实 
现 源 数据 库 与 目标 数据 库 采 集 。Oracle Golden Gate 可 以 在 异 构 的 IT 基 础 结构 (包括 几乎 所 
有 常用 操作 系统 平台 和 数据 库 平 台 ) 之 间 实 现 大 量 数据 亚 秒 一 级 的 实时 复制 ， 从 而 可 以 在 
应 急 系 统 、 在 线 报表 、 实 时 数据 仓库 供应 、 交 易 跟踪 、 数 据 采 集 、 集 中 /分 发 、 容 灾 、 数 
据 库 升级 和 移植 、 双 业务 中 心 等 多 个 场景 下 应 用 。 同 时 ，Oracle Golden Gate 可 以 实现 一 对 
一 、 广 播 (一 对 多 ) 、 聚 合 〈 多 对 一 ) 、 双 向 、 点 对 点 、 级 联 等 多 种 灵活 的 拓扑 结构 。 和 
传统 的 逻辑 复制 一 样 ，Oracle Golden Gate 实 现 原理 是 通过 抽取 源 端的 redo log 或 者 archive 
log， 然 后 通过 TCP/IP 投 递 到 目标 端 ， 最 后 解析 还 原 应 用 到 目标 端 ， 使 目标 端 实现 同 源 端 
数据 采集 的 。 

Manager 进 程 是 Oracle Golden Gate 的 控制 进程 ， 运 行 在 源 端 和 目标 端 上 。 它 主要 作用 
有 以 下 几 个 方面 启动、 监控 、 重 启 Golden Gate 的 其 他 进程 ， 报 告 错 误 及 事件 ， 分 配 数据 
存储 空间 ， 发 布 阔 值 报告 等 。 在 目标 端 和 源 端 有 且 只 有 一 个 Manager 进 程 ， 其 运行 状态 为 
running 或 stopped。 

Extract 运 行 在 数据 库 源 端 ， 负 责 从 源 端 数据 表 或 者 日 志 中 捕获 数据 。Extract 的 作用 可 
以 按照 表 的 时 间 来 划分 ， 初始 时 间 装 载 阶段 ，Extract 进 程 直 接 从 源 端 的 数据 表 中 抽取 数 
据 ， 采 集 变化 捕获 阶段 ，Extract 进 程 负责 捕获 源 端 数据 的 变化 (DML 和 DDL) 。Extract 进 
程 会 捕获 所 有 已 配置 的 需要 采集 的 对 象 变化 ， 但 只 会 将 已 提交 的 事务 发 送 到 远程 的 trail 文 
件 用 于 采集 。 当 事务 提交 时 ， 所 有 和 该 事务 相关 的 日 志 记录 被 以 事务 为 单元 的 顺序 记录 到 
trail 文 件 中 。Extract 进 程 利用 其 内 在 的 checkpoint 机 制 ， 周 期 性 地 记录 其 读 写 的 位 置 ， 这 种 
机 制 是 为 了 保证 Extract 进 程 终 止 或 操作 系统 宕 机 ， 重 新 启动 Extract 后 ，Oracle Golden Gate 
可 以 恢复 到 之 前 的 状态 ， 从 上 一 个 断 点 继续 往 下 运行 。 通 过 上 面 两 个 机 制 ， 就 可 以 保证 数 
据 的 完整 性 了 。 

pump 进 程 运行 在 数据 库 源 端 ， 其 作用 是 将 源 端 产生 的 本 地 trail 文 件 ， 把 trail 以 数据 块 
的 形式 通过 TCP/IP 协议 发 送 到 目标 端 ， 这 通常 也 是 推荐 的 方式 。pump 进 程 本 质 是 Extract 
进程 的 一 种 特殊 形式 ， 如 果 不 使 用 trail 文 件 ， 那 么 Extract 进 程 在 抽取 完 数据 以 后 ， 将 直接 
投递 到 目标 端 ， 生 成 远程 trail 文 件 。 

Replicat 进 程 通常 也 称 为 应 用 进程 ， 运 行 在 目标 端 ， 是 数据 传递 的 最 后 一 站 ， 负 责 读 
取 目 标 端 trail 文 件 中 的 内 容 ， 并 将 其 解析 为 DML 或 DDL 语 句 ， 然 后 应 用 到 目标 数据 库 中 。 
和 Extract 进 程 一 样 ，Replicat 进 程 也 有 其 内 部 的 checkpoint 机 制 ， 保 证 重启 后 可 以 从 上 次 记 
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录 的 位 置 开始 恢复 而 无 数据 损失 的 风险 。Replicat 进 程 的 状态 包括 Stopped (正常 停止 〉、 
Starting〈 正 在 启动 ) 、Running (正在 运行 ) 和 Abended (Abnomal End 的 缩写 ， 表 示 异 常 
结束 ) 。 

为 了 更 有 效 、 更 安全 地 把 数据 库 事务 信息 从 源 端 投递 到 目标 端 ，Golden Gate 引 进 了 
trail 文 件 的 概念 。 前 面 提 到 extract 抽 取 完 数据 以 后 Golden Gate 会 将 抽取 的 事务 信息 转化 
为 一 种 GoldenGate 专 有 格式 的 文件 ， 然 后 pump 负 责 把 源 端 的 trail 文 件 投递 到 目标 端 ， 所 
以 源 、 目 标 两 端 都 会 存在 这 种 文件 。trail 文 件 存在 的 目的 旨 在 防止 单 点 故障 ， 将 事务 信 
息 持久 化 ， 并 且 使 用 checkpoint 机 制 来 记录 其 读 写 位 置 ， 如 果 故 障 发 生 ， 则 数据 可 以 根据 
checkpoint 记 录 的 位 置 来 重 传 。 


3. MySQI 系 统 的 主 从 复制 机 制 


Master 为 主 服务 器 ，Slave 为 从 服务 器 ， 初 始 状态 时 ，Master 和 Slave 中 的 数据 信息 相 
同 ， 当 Master 中 的 数据 发 生变 化 时 ，Slave 也 跟着 发 生 相 应 的 变化 ， 使 得 Master 和 Slave 的 数 
据 信息 采集 相同 ， 达 到 备份 的 目的 。 负 责 在 主 、 从 服务 器 传输 各 种 修改 动作 的 媒介 是 主 服 
务 器 的 二 进 制 变更 日 志 ， 这 个 日 志 记 载 着 需要 传输 给 从 服务 器 的 各 种 修改 动作 。 因 此 ， 主 
服务 器 必须 激活 二 进 制 日 志 功 能 ， 从 服务 器 必须 具备 足以 让 它 连 接 主 服务 器 并 请 求 主 服务 
器 把 二 进 制 变更 日 志 传 输 给 它 的 权限 。 

MySQI 主 从 复制 支持 的 复制 类 型 、 特 点 及 步骤 如 下 。 

1) 复制 类 型 

(1) 基于 语句 的 复制 在 主 服 务 器 上 执行 的 SQL 语句 ， 在 从 服务 器 上 也 执行 同样 的 
语句 。MYySQL 默 认 采 用 基于 语句 的 复制 ， 效 率 比较 高 。 一 旦 发 现 没 法 精确 复制 时 ， 会 自 
动 选择 基于 行 的 复制 。 

(2) 基于 行 的 复制 :把 改变 的 内 容 复 制 过 去 ， 而 不 是 把 命令 在 从 服务 器 上 执行 一 
饥 。 此 功能 从 MySQL 5.0 开 始 支持 。 

(3) 混合 类 型 的 复制 : 默认 采用 基于 语句 的 复制 ， 一 旦 发 现 基于 语句 无 法 精确 复制 
时 ， 就 会 基于 行进 行 复制 。 

2) 特点 

(1) 数据 分 布 。 

(2) 负载 平衡 。 

(3) 备份 。 

(4) 高 可 用 性 和 容错 性 。 

3) 工作 步骤 

(1) Master 将 改变 记录 到 二 进 制 日 志 中 〈 这 些 记 录 叫 作 二 进 制 日 志 事件 ) 。 

(2) Slave 将 Master 的 binary log events 复 制 到 它 的 中 继 日 志 。 
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(3) Slave 重 做 中 继 日 志 中 的 事件 ， 改 变 反映 它 自 己 的 数据 。 

各 大 关系 型 数据 库 之 间 的 异 构 采 集 因 大 数据 行业 的 快速 发 展 ， 诞 生 了 部 分 异 构 
采集 工具 。 例 如 MySQI 和 SQL Server 自 身 之 间或 者 是 两 者 之 间 的 数据 采集 ， 就 会 采用 
SyncNavigator 实 时 采集 方式 来 实现 。 而 Oracle 和 SQL Server 也 有 自己 的 异 构 采 集 工具 ， 例 
如 Oracle 的 Oracle Golden Gate 就 可 以 实现 与 MySQI 之 间 的 数据 采集 ，SQL Server 的 出 版 者 / 
订阅 者 方案 就 可 以 实现 与 Oracle 数 据 库 之 间 的 数据 采集 。 


9.1.2 ， 非 结 构 数 据 、 海 量 实时 数据 采集 
非 结构 化 数据 、 海 量 实时 数据 和 电网 GIS 数 据 一 般 采 用 Hadoop 集 群 进行 数据 采集 。 


1. Hadoop 简 介 


Hadoop 框 架 本 身 大 多 是 用 Java 编 程 语 言 编写 的 ， 一 些 本 地 代码 是 使 用 C 语 言 编写 的 ， 
命令 行 实 用 程序 写成 shell 脚 本 ， 同 时 随 着 不 同 公司 的 工作 需要 ， 产 生 了 许多 不 同 的 版 本 ， 
极 大 丰富 了 Hadoop 的 内 容 ， 如 同 后 续 出 现 的 Hive、ZooKeeper。 截 至 2013 年 ， 已 经 有 超过 
一 半 的 世界 500 强 企业 采用 了 Hadoop。Hadoop 也 在 技术 上 被 世界 所 认同 ， 随 着 技术 的 发 展 
和 革新 ， 全 球 大 多 的 企业 都 对 Hadoop 青 睐 有 加 。 

目前 ，Hadoop 已 经 涉及 了 全 球 一 半 以 上 的 数据 处 理 的 工作 ， 是 当下 最 为 实用 的 数据 
处 理 平台 ， 研 究 Hadoop 会 使 得 海量 数据 的 处 理 变 得 异常 轻松 。Hadoop 在 现代 社会 的 应 用 
已 经 涉及 了 通信 、 电 子 商务 、 军 事 领 域 和 互联 网 。 

旅游 公司 通过 使 用 Hadoop 和 Hive 可 以 迅速 帮助 游客 筛选 理想 的 旅游 地 点 和 酒店 ， 并 能 
够 分 析出 中 短期 时 间 内 旅游 热门 的 趋势 。 而 一 些 网 络 公司 ， 如 Facebook、 百 度 等 ， 也 运用 
Hadoop 来 处 理 用 户 的 状态 更 新 、 日 志 生成 ， 并 根据 对 用 户 的 喜好 分 析 推送 相应 的 应 用 和 
产品 。 甚 至 军 方 也 在 应 用 Hadoop， 壁 如 美国 军 方 就 应 用 Hadoop 的 Digital Reasning 来 梳理 来 
自 于 情报 部 门 的 大 量 非 结构 化 文本 数据 ， 并 从 这 些 分 析 报 告 中 寻找 出 可 能 危害 国家 及 人 民 
安全 的 文件 。 最 常用 的 也 是 我 们 普通 人 时 时 刻 刻 都 在 使 用 的 搜索 引擎 。 搜 索引 擎 通过 网 络 
疏 虫 和 建立 索引 来 搜罗 网 上 的 信息 ， 而 这 两 项 技术 就 依靠 Hadoop 平 台 ， 将 网 页 上 的 内 容 
爬 取 到 自己 的 本 地 服务 器 上 。 百 度 的 仆 取 量 是 非常 巨大 的 ， 并 且 为 了 保证 数据 的 新 鲜 度 ， 
百度 需要 时 时 刻 刻 向 不 同 的 网 站 发 送 疏 取 请 求 ， 所 以 就 会 使 用 成 千 上 万 个 怜 虫 程序 同时 疏 
取 数 据 ， 这 是 一 个 非常 大 的 挑战 ， 运 用 Hadoop 平 台 可 以 将 怜 取 的 数据 高 效 地 存储 起 来 ， 
当然 这 也 是 一 个 非常 大 的 工程 。 扑 取 之 后 的 数据 存放 在 本 地 的 服务 器 上 ， 但 是 用 户 这 个 时 
候 并 不 能 通过 这 些 数据 查 到 东西 ， 在 查询 之 前 ， 百 度 还 需要 把 这 些 数据 一 一 建立 索引 ， 就 
如 同 从 字典 中 查 汉字 ， 字 典 中 的 偏旁 部 首 就 是 索引 ， 除 了 一 些 像 “的 ”“ 和 ”等 字 不 需要 
之 外 ， 大 部 分 的 数据 都 需要 一 一 建立 索引 ， 每 种 格式 的 文档 都 要 有 一 种 相对 应 的 解析 程 
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序 ， 以 此 来 规避 一 些 奇怪 的 符号 ， 从 而 提取 出 数据 中 有 用 的 信息 。 索 引 的 生成 需要 高 效 的 
执行 速度 ， 所 以 需要 运行 在 足够 多 的 机 器 上 ， 在 每 台 机 器 上 同时 进行 扫描 输入 数据 和 内 存 
更 新 索引 的 操作 。 这 些 索引 的 合并 操作 是 呈 线 性 增长 的 ， 基 于 这 个 原因 ，Hadoop 项 目下 
的 MapReduce 就 体现 出 了 它 的 价值 。MapReduce 是 一 个 应 用 广泛 的 分 布 式 计算 框架 ， 它 会 
将 一 个 比较 大 的 任务 分 割 成 诸多 小 任务 ， 并 将 这 些小 任务 分 发 给 多 个 Mapper 程 序 ， 也 就 是 
将 任务 分 割 之 后 布置 在 成 千 上 万 台 机 器 上 同时 运算 ， 以 此 来 提高 效率 。 而 Hadoop 在 这 一 
方面 展现 出 了 极 大 的 优势 。 

大 数据 要 经 过 清洗 、 分 析 、 建 模 ， 以 及 可 视 化 后 体现 出 其 潜在 的 价值 。 但 是 ， 由 于 
网 民 数 量 的 不 断 提升 、 社 交 网 络 的 繁荣 和 业务 应 用 的 多 样 化 ， 单 个 文件 (如 日 志文 件 ) 
变 得 越 来 越 大 ， 文 件 的 存储 成 本 和 硬盘 的 读 取 速度 越 来 越 显得 捉襟见肘 。 政 府 、 保 险 公 
司 和 银行 等 内 部 存在 海量 的 不 规则 、 非 结构 化 的 数据 ; 只 有 将 这 些 数据 采集 并 清洗 为 有 
条 理 的 数据 ， 才 能 提高 企业 决策 支撑 能 力 ， 以 及 政府 的 决策 服务 水 平 ， 使 其 发 挥 应 有 的 
作用 。 


2. Hadoop 多 维 分 析 平 台 的 架构 


整个 Hadoop 多 维 分 析 平 台 架 构 由 4 大 部 分 组 成 : 数据 采集 模块 、 数 据 元 余 模块 、 维 度 
定义 模块 和 并 行 分 析 模 块 ， 如 图 9.3 所 示 。 


数 

数据 日 志 数据 日 志 数据 日 志 
集 

交 宛 余 维度 定义 器 

本 VT We tah 
“2 

维 || 可 视 化 维度 可 视 化 分 析 
定 | |_ 度量 定义 器 | 维度 度量 定义 模块 宛 钞 多 维 分 析 提交 模块 | 查询 器 
之 

大 核心 模块 报表 中 心 
4 核心 Hadoop 分 析 集群 


图 9.3 ”Hadoop 多 维 分 析 平 台 的 架构 
数据 采集 模块 采用 了 Cloudera 的 Flume， 将 海量 的 小 日 志文 件 进行 高 速 传输 和 合 
并 ， 并 能 够 确保 数据 的 传输 安全 性 。 单 个 collector 宕 机 之 后 ， 数 据 也 不 会 丢失 ， 并 能 
将 agent 数 据 自动 转移 到 其 他 的 colllecter 处 理 ， 而 不 会 影响 整个 采集 系统 的 运行 ， 如 图 
9.4 所 示 。 
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图 9.4 ”数据 采集 模块 

数据 元 余 模块 不 是 必需 的 ， 但 如 果 日 志 数据 中 没有 足够 的 维度 信息 ， 或 者 需要 比较 频 
繁 地 增加 维度 ， 则 需要 定义 数据 宛 余 模块 。 宛 余 维 度 定义 器 可 定义 需要 宛 余 的 维度 信息 和 
来 源 〈 数 据 库 、 文 件 、 内 存 等 ) ， 并 指定 扩展 方式 ， 将 信息 写 入 数据 日 志 中 。 在 海量 数据 
下 ， 数 据 宛 余 模 块 往往 成 为 整个 系统 的 瓶颈 ， 建 议 使 用 一 些 比较 快 的 内 存 NoSQL 来 处 理 宛 
余 原始 数据 ， 并 采用 尽 可 能 多 的 节点 进行 并 行 元 余 ; 或 者 也 完全 可 以 在 Hadoop 中 执行 批 
量 Map， 进 行 数据 格式 的 转化 。 

维度 定义 模块 是 面向 业务 用 户 的 前 端 模块 ， 用 户 通 过 可 视 化 的 定义 器 从 数据 日 志 中 定 
义 维度 和 度量 ， 并 能 自动 生成 一 种 多 维 分 析 语 言 ， 同 时 可 以 使 用 可 视 化 的 分 析 器 通过 GUI 
执行 刚刚 定义 好 的 多 维 分 析 命 令 。 

并 行 分 析 模 块 接 受用 户 提交 的 多 维 分 析 命 令 ， 并 通过 核心 模块 将 该 命令 解析 为 Map 
Reduce， 提 交 给 Hadoop 群 集 之 后 ， 生 成 报表 供 报 表 中 心 展示 。 
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随 着 信息 社会 的 发 展 ， 越 来 越 多 的 信息 被 数据 化 ， 尤 其 是 伴随 着 Intermet 的 发 展 ， 数 据 
呈 爆 炸 式 增长 。 从 存储 服务 的 发 展 趋势 来 看 ， 一 方面 是 对 数据 存储 量 的 需求 越 来 越 大 ， 另 
一 方面 是 对 数据 的 有 效 管 理 提出 了 更 高 的 要 求 。 首 先 ， 存 储 容量 的 急剧 膨胀 、 数 据 持续 时 
间 的 增加 ， 对 存储 服务 器 提出 了 更 高 的 要 求 ; 其 次 ， 数 据 的 多 样 化 、 地 理 上 的 分 散 性 、 对 
重要 数据 的 保护 等 对 数据 管理 提出 了 更 高 的 要 求 。 随 着 数字 图 书馆 、 电 子 商 务 、 多 媒体 传 
输 等 应 用 的 不 断 发 展 ， 数 据 从 GB、TB 到 PB 量 级 急速 增长 。 存 储 产品 已 不 再 是 附属 于 服务 
器 的 辅助 设备 ， 而 成 为 互联 网 中 最 主要 的 花费 所 在 。 海 量 存储 技术 已 成 为 继 计算 机 浪潮 和 
互联 网 浪潮 之 后 的 第 三 次 浪潮 ， 磁 盘 阵 列 与 网 络 存储 成 为 先锋 。 
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9.2.1 海量 数据 存储 的 概念 


海量 数据 存储 的 含义 在 于 ， 其 要 存储 的 数据 的 容量 增长 是 没有 止境 的 ， 因 此 ， 用 户 
需要 不 断 地 扩张 存储 空间 。 但 是 ， 存 储 容量 的 增长 往往 同 存储 性 能 并 不 成 正比 ， 这 也 就 造 
成 了 数据 存储 上 的 误区 和 障碍 。 海 量 存储 技术 的 概念 已 经 不 仅仅 是 单 台 的 存储 设备 ， 而 多 
个 存储 设备 的 连接 使 得 数据 管理 成 为 一 大 难题 。 因 此 ， 统 一 平台 的 数据 管理 产品 近年 来 受 
到 了 广大 用 户 的 欢迎 ， 这 一 类 型 产品 能 够 在 一 个 单一 的 控制 界面 上 整合 不 同 平台 的 存储 设 
备 ， 结 合 虚拟 化 软件 对 存储 资源 进行 管理 。 这 样 的 产品 无 疑 简化 了 用 户 的 管理 。 

数据 容量 的 增长 是 无 限 的 ， 如 果 只 是 一 味 添加 存储 设备 ， 那 么 无 疑 会 大 幅 增加 存储 成 
本 ， 因 此 ， 海 量 存储 对 于 数据 的 精简 也 提出 了 要 求 。 同 时 ， 不 同 的 应 用 对 于 存储 容量 的 需 
求 也 有 所 不 同 ， 而 应 用 所 要 求 的 存储 空间 往往 并 不 能 得 到 充分 利用 ， 这 也 造成 了 浪费 。 

针对 以 上 问题 ， 重 复数 据 删除 和 自动 精简 配置 两 项 技术 在 近年 来 受到 了 广泛 的 关注 和 
追捧 。 重 复数 据 删 除 指 通 过 文件 块 级 的 比 对 ， 将 重复 的 数据 块 删除 而 只 留 下 单一 实例 。 这 
一 做 法 使 得 元 余 的 存储 空间 得 到 释放 ， 从 客观 上 增加 了 存储 容量 。 

自动 精简 配置 以 存储 虚拟 化 作为 前 提 条 件 ， 存 储 管理 员 可 以 像 往常 一 样 分 配 逻 辑 存 储 
给 应 用 程序 ， 但 仅 在 需要 时 才 真正 占用 物理 容量 。 当 该 存储 的 利用 率 接近 预定 阔 值 时 〔 例 
如 90%) ， 该 阵列 会 自动 从 虚拟 存储 池 中 分 配 空间 来 扩展 该 卷 ， 而 不 需要 人 工 干预 。 卷 可 
以 往常 一 样 超额 分 配 ， 因 此 应 用 程序 认为 它 有 充足 的 存储 空间 ， 但 实际 上 并 没有 浪费 存储 
空间 。 按 需 存储 的 自动 精简 配置 ， 基 本 上 消除 了 已 分 配 但 未 使 用 的 空间 的 浪费 ， 存 储 分 配 
自动 化 显著 减少 了 服务 应 用 程序 所 需 的 存储 数量 ， 大 幅度 减少 能 量 消耗 ， 提 高 了 存储 空间 
的 整体 利用 率 。 


9.2.2 企业 在 处 理 海量 数据 存储 中 存在 的 问题 


目前 企业 存储 面临 几 个 问题 ， 一 是 存储 数据 的 成 本 在 不 断 增加 ， 需 削减 开支 节约 成 本 
以 保证 高 可 用 性 ， 二 是 数据 存储 容量 爆炸 性 增长 且 难 以 预 估 ， 三 是 越 来 越 复杂 的 环境 使 得 
存储 的 数据 无 法 管理 。 企 业 信息 架构 如 何 适应 现状 并 提供 一 个 较为 理想 的 解决 方案 ， 是 大 
家 关注 的 焦点 。 目 前 业界 有 以 下 几 个 发 展 方向 。 

1) 存储 虚拟 化 

对 于 存储 面临 的 难题 ， 业 界 采用 的 解决 手段 之 一 就 是 存储 虚拟 化 。 虚 拟 存储 的 概念 实 
际 上 在 早期 的 计算 机 虚拟 存储 器 中 就 已 经 很 好 地 得 以 体现 ， 常 说 的 网 络 存储 虚拟 化 只 不 过 
是 在 更 大 规模 范围 内 体现 存储 虚拟 化 的 思想 。 该 技术 通过 聚合 多 个 存储 设备 的 空间 ， 灵 活 
部 署 存储 空间 的 分 配 ， 从 而 实现 现 有 存储 空间 高 利用 率 ， 避 免 了 不 必要 的 设备 开支 。 

存储 虚拟 化 的 好 处 显而易见 ， 如 可 实现 存储 系统 的 整合 、 提 高 存储 空间 的 利用 率 、 简 
化 系统 的 管理 、 保 护 原 有 投资 等 。 越 来 越 多 的 厂商 正 积极 投身 于 存储 虚拟 化 领域 ， 在 如 数 
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据 复制 、 自 动 精简 配置 等 技术 中 用 到 了 虚拟 化 技术 。 虚 拟 化 并 不 是 一 个 单独 的 产品 ， 而 是 
存储 系统 的 一 项 基本 功能 ， 它 对 于 整合 异 构 存 储 环 境 、 降 低 系统 整体 拥有 成 本 是 十 分 有 效 
的 。 存 储 系统 的 各 个 层面 和 不 同 应 用 领域 都 广泛 使 用 虚拟 化 这 个 概念 。 整 个 存储 层次 大 体 
分 为 应 用 、 文 件 和 块 设备 三 个 层次 ， 相 应 的 虚拟 化 技术 也 大 致 可 以 按 这 三 个 层次 分 类 。 

目前 大 部 分 设备 提供 商 和 服务 提供 商都 在 自己 的 产品 中 包含 存储 虚拟 化 技术 ， 使 得 用 
户 能 够 方便 地 使 用 。 

2) 容量 扩展 

目前 ， 在 发 展 趋势 上 存储 管理 的 重点 已 经 从 对 存储 资源 的 管理 转变 到 对 数据 资源 的 
管理 。 随 着 存储 系统 规模 的 不 断 扩大 ， 数 据 如 何在 存储 系统 中 进行 时 空 分布 成 为 保证 数据 
的 存 取 性 能 、 安 全 性 和 经 济 性 的 重要 问题 。 面 对 信息 海量 增长 对 存储 扩容 的 需求 ， 目 前 主 
流 厂 商 均 提出 了 各 自 的 解决 方案 。 由 于 存储 现状 比较 复杂 ， 存 储 技术 的 发 展业 界 还 没有 形 
成 统一 的 认识 ， 因 此 在 应 对 存储 容量 增长 的 问题 上 ， 尚 存在 很 大 的 提升 空间 。 技 术 是 发 展 
的 ， 数 据 的 世界 也 是 在 不 断 变化 的 过 程 中 走向 完美 。 企 业 信 息 架 构 “分 ”与 “ 合 ” 的 情 
况 并 不 是 绝对 的 ， 目 前 出 现 了 许多 的 融合 技术 ， 如 NAS 与 SAN 的 融合 、 统 一 存储 网 等 ， 都 
将 对 企业 信息 架构 产生 不 同 的 影响 。 至 于 到 底 采 用 哪 种 技术 更 合适 ， 取 决 于 企业 自身 对 数 
据 的 需求 。 


9.2.3 海量 数据 存储 技术 


为 了 支持 大 规模 数据 的 存储 、 传 输 与 处 理 ， 针 对 海量 数据 存储 目前 主要 开展 如 下 3 个 
方向 的 研究 。 

1) 虚拟 存储 技术 

存储 虚拟 化 的 核心 工作 是 物理 存储 设备 到 单一 逻辑 资源 池 的 映射 ， 通 过 虚拟 化 技术 ， 
为 用 户 和 应 用 程序 提供 了 虚拟 磁盘 或 虚拟 卷 ， 并 且 用 户 可 以 根据 需求 对 其 进行 任意 分 割 、 
合并 、 重 新 组 合 等 操作 ， 同 时 分 配给 特定 的 主机 或 应 用 程序 ， 为 用 户 隐 藏 或 屏蔽 了 具体 物 
理 设备 的 各 种 物理 特性 。 存 储 虚 拟 化 可 以 提高 存储 利用 率 、 降 低 成 本 、 简 化 存储 管理 ， 而 
基于 网 络 的 虚拟 存储 技术 已 成 为 一 种 趋势 ， 它 的 开放 性 、 扩 展 性 、 管 理性 等 方面 的 优势 将 
在 数据 大 集中 、 异 地 容 灾 等 应 用 中 充分 体现 出 来 。 

2) 高 性 能 IO 

集群 由 于 其 很 高 的 性 价 比 和 良好 的 可 扩展 性 ， 近 年 来 在 HPC 领 域 得 到 了 广泛 的 应 用 。 
数据 共享 是 集群 系统 中 的 一 个 基本 需求 。 当 前 经 常 使 用 的 是 网 络 文 件 系统 NFS 或 者 CIFS。 
当 一 个 计算 任务 在 Linux 集 群 上 运行 时 ， 计 算 节 点 首先 通过 NFS 协 议 从 存储 系统 中 获取 数 
据 ， 然 后 进行 计算 处 理 ， 最 后 将 计算 结果 写 入 存储 系统 。 在 这 个 过 程 中 ， 计 算 任 务 的 开始 
和 结束 阶段 数据 读 写 的 IO 负载 非常 大 ， 而 在 计算 过 程 中 几乎 没有 任何 负载 。 当 今 的 Linux 
集群 系统 处 理 能 力 越 来 越 强 ， 动 辑 达到 几 十 甚至 上 百 个 Tflops， 于 是 用 于 计算 处 理 的 时 间 
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越 来 越 短 ， 但 传统 存储 技术 架构 对 带宽 和 IO 能 力 的 提高 却 非常 困难 且 成 本 高 晶 。 这 造成 
了 当 原 始 数据 量 较 大 时 ，IO 读 写 所 占 的 整体 时 间 相 当 可 观 ， 成 为 HPC 集 群 系统 的 性 能 瓶 
颈 。IO 效 率 的 改进 ， 已 经 成 为 今天 大 多 数 Linux 并 行 集群 系统 提高 效率 的 首要 任务 。 

3) 网 格 存储 系统 

高 能 物理 的 数据 需求 除了 容量 特别 大 之 外 ， 还 要 求 广泛 的 共享 。 比 如 运行 于 BECPII 
上 的 新 一 代 北 京 谱 仪 实验 BESIII， 未 来 五 年 内 将 累积 数据 9?PB， 分 布 在 全 球 的 20 多 个 研究 
单位 将 对 其 进行 访问 和 分 析 。 因 此 ， 网 格 存储 系统 应 该 能 够 满足 海量 存储 、 全 球 分 布 、 快 
速 访问 、 统 一 命名 的 需求 ， 主 要 研究 的 内 容 包括 网 格 文件 名 字 服 务 、 存 储 资源 管理 、 高 性 
能 的 广域网 数据 传输 、 数 据 复制 、 透 明 的 网 格 文件 访问 协议 等 。 
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9.3.1 数据 安全 


从 信息 安全 的 角度 来 看 ， 围 绕 大 数据 的 问题 主要 集中 在 以 下 5 个 方面 : 网 络 安全 、 云 
数据 、 消 费 化 、 互 相 联系 的 供应 链 和 隐私 。 

(1) 网 络 安全 。 随 着 在 线 交 易 、 在 线 对 话 、 在 线 互 动 、 在 线 数据 越 来 越 多 ， 黑 客 们 
的 犯罪 动机 也 比 以 往 任何 时 候 都 来 得 强烈 。 如 今 的 黑客 们 组 织 性 更 强 ， 更 加 专业 ， 作 案 工 
具 也 更 加 强大 ， 作 案 手段 更 是 层出不穷 。 相 比 于 以 往 一 次 性 数据 泄露 或 者 黑客 攻击 事件 的 
小 打 小 闹 ， 现 在 数据 一 旦 泄露 ， 对 整个 企业 可 以 说 是 一 着 不 慎 满 盘 皆 输 ， 不 仅 会 导致 声誉 
受 损 、 造 成 巨大 的 经 济 损失 ， 严 重 的 还 要 承担 法 律 责任 。 所 以 在 大 数据 时 代 ， 网 络 的 恢复 
能 力 以 及 防范 策略 可 以 说 是 至 关 重 要 。 

(2) 云 数据 。 就 目前 来 看 ， 企 业 快 速 采用 和 实施 诸如 云 服 务 等 新 技术 还 存在 不 小 的 
压力 ， 因 为 它们 可 能 带 来 无 法 预料 的 风险 和 意 想不到 的 后 果 。 而 且 ， 云 端的 大 数据 对 于 黑 
客 们 来 说 是 个 极 具 吸引 力 的 获取 信息 的 目标 ， 这 就 对 企业 制定 安全 正确 的 云 计算 采购 策略 
提出 了 更 高 的 要 求 。 

(3) 消费 化 。 众 所 周知 ， 数 据 的 搜集 、 存 储 、 访 问 、 传 输 必 不 可 少 地 需要 借助 移动 
设备 ， 所 以 大 数据 时 代 的 来 临 也 带动 了 移动 设备 的 猛 增 。 随 之 而 来 的 是 BYOD (bring your 
own device) 风潮 的 兴起 ， 越 来 越 多 的 员工 带 自 己 的 移动 设备 进行 办 公 。 不 可 否认 的 是 ， 
BYOD 确 实 为 人 们 的 工作 带 来 了 便利 ， 而 且 也 帮助 企业 节省 了 很 大 一 笔 开 支 ， 但 也 给 企业 
带 来 了 更 大 的 安全 隐患 。 曾 几何 时 ， 手 持 设 备 被 当成 黑客 入 侵 内 网 的 绝 佳 跳板 ， 所 以 企业 
管理 和 确保 员工 个 人 设备 的 安全 性 也 相应 增加 了 难度 。 
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(4) 互相 联系 的 供应 链 。 每 个 企业 都 是 复杂 的 、 全 球 化 的 、 相 互 依存 的 供应 链 中 的 
一 部 分 ， 而 供应 链 很 可 能 就 是 最 薄弱 的 环节 。 信 息 将 供应 链 紧密 地 联系 在 一 起 ， 从 简单 的 
数据 到 商业 机 密 再 到 知识 产权 ， 而 信息 的 泄露 可 能 导致 名 誉 受 损 、 经 济 损失 ， 甚 至 是 法 律 
制裁 。 由 此 可 知 ， 在 协调 企业 之 间 承 包 和 供应 等 业务 关系 中 扮演 着 举足轻重 角色 的 信息 安 
全 的 重要 性 也 就 不 言 而 喻 了 。 

(5) 隐私 。 随 着 产生 、 存 储 、 分 析 的 数据 量 越 来 越 大 ， 隐 私 问题 在 未 来 几 年 也 将 愈 
加 凸显 。 所 以 新 的 数据 保护 要 求 以 及 立法 机 构 和 监管 部 门 的 完善 应 当 提 上 日 程 。 

抛 开 以 上 提 到 的 问题 ， 数 据 聚 合 以 及 大 数据 分 析 就 像 是 企业 营销 情报 的 宝库 。 基 于 用 
户 过 去 的 购买 方式 ， 情 绪 以 及 先前 的 个 人 偏好 进行 目标 客户 的 定位 ， 对 市 场 营销 者 来 说 绝 
对 是 再 合适 不 过 了 。 但 是 那些 出 于 商业 利益 考虑 而 迫切 想 要 采用 新 技术 的 企业 领导 者 会 被 
建议 先 去 了 解法 律 和 其 他 方面 的 限制 ， 这 些 限 制 可 能 涉及 多 个 司法 机 构 ; 此 外 ， 他 们 应 该 
实施 一 些 隐私 最 佳 实践 ， 并 将 其 设计 成 分 析 程 序 ， 增 加 透明 度 和 实行 问 责 制度 ， 而 且 不 应 
该 忽视 大 数据 对 人 们 、 对 技术 的 影响 。 

很 显然 ， 保 证 数据 输入 以 及 大 数据 输出 的 安全 性 是 个 很 艰巨 的 挑战 ， 它 不 仅 会 影响 到 
潜在 的 商业 活动 和 机 会 ， 而 且 有 着 深远 的 法 律 内 涵 。 我 们 应 该 保持 敏捷 性 并 在 问题 出 现 前 
对 监管 规则 做 出 适当 的 改变 ， 而 不 是 坐等 问题 出 现 再 亡羊补牢 。 

当然 ， 一 切 都 还 处 于 初级 阶段 ， 而 且 目 前 也 没有 太 多 外 在 要 求 来 强制 企业 保证 信息 的 
完整 性 。 然 而 ， 企 业 每 天 处 理 的 数据 规模 依然 在 增长 ， 大 数据 分 析 使 得 商务 决策 越 来 越 接 
近 原 生 数 据 ， 信 息 的 质量 也 变 得 愈加 重要 。 如 果 同 样 复 杂 的 分 析 可 以 运用 到 相关 安全 数据 
上 ， 那 么 大 数据 甚至 可 以 用 来 改善 信息 安全 。 

总 的 说 来 ， 大 数据 应 该 说 是 具有 相当 大 的 价值 ， 但 同时 它 又 存在 巨大 的 安全 隐患， 
一 旦 落 入 非法 分 子 手中 ， 势 必 对 企业 和 个 人 造成 巨大 的 损失 。 套 用 一 句 话 ， 世 界 是 很 公平 
的 ， 收 入 与 风险 是 成 正比 的 。 

如 今 ， 有 很 多 特别 重视 不 同 数据 类 型 〈 例 如 地 理 位 置 数据 ) 的 大 数据 管理 系统 ， 这 些 
系统 使 用 多 种 不 同 的 查询 模式 、 不 同 的 数据 存储 模式 、 不 同 的 任务 管理 和 协调 、 不 同 的 资 
源 管理 工具 。 虽 然 大 数据 常 被 描述 为 “ 反 关 系 型 ”的 ， 但 这 个 概念 还 是 无 法 抓 住 大 数据 的 
本 质 。 为 了 避免 性 能 问题 ， 大 数据 确实 抛弃 了 许多 关系 型 数据 库 的 核心 功能 ， 却 也 没 犯 什 
么 错误 : 有 些 大 数据 环境 提供 关系 型 结构 、 业 务 连 续 性 和 结构 化 查询 处 理 。 

由 于 传统 的 定义 无 法 抓 住 大 数据 的 本 质 ， 我 们 不 妨 根 据 组 成 大 数据 环境 的 关键 要 素 思 
考 一 下 大 数据 。 这 些 关键 要 素 使 用 了 许多 分 布 式 的 数据 存储 和 管理 节点 。 存 储 多 个 数据 副 
本 ， 在 多 个 节点 之 间 将 数据 变 成 “碎片 ”， 这 意味 着 在 单一 节点 发 生 故 障 ， 数 据 查 询 将 会 
转向 处 理 资源 可 用 的 数据 。 正 是 这 种 能 够 彼此 协作 的 分 布 式 数据 节点 集群 ， 可 以 解决 数据 
管理 和 数据 查询 问题 ， 才 使 得 大 数据 如 此 不 同 。 

图 9.5 显 示 的 是 一 个 Hadoop 文 件 系统 的 架构 图 ， 显 示 出 数据 节点 和 客户 端 如 何 交互 。 
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Hadoop 文 件 系统 架构 


Metadata (Name, replicas, …) ; 


元 数据 选择 i /home/foo/data, 3, ... 
这 数据 节点 数据 节点 
回国 | | 图 国 国 F 
加 | | 图 
机 架 1 


图 9.5 ”Hadoop 文 件 系统 的 架构 图 
节点 的 松散 联系 带 来 了 许多 性 能 优势 ， 但 也 带 来 了 独特 的 安全 挑战 ， 如 图 9.6 所 示 。 
大 数据 数据 库 并 不 使 用 集中 化 的 “围墙 花园 ”模式 (与 “完全 开放 ”的 互联 网 相对 而 言 ， 
它 指 的 是 一 个 控制 用 户 对 网 页 内 容 或 相关 服务 进行 访问 的 环境 ) ， 内 部 的 数据 库 并 不 隐藏 
自己 而 使 其 他 应 用 程序 无 法 访问 。 在 这 儿 没 有 “内 部 的 ”概念 ， 而 大 数据 并 不 依赖 数据 访 


问 的 集中 点 。 大 数据 将 其 架构 暴露 给 使 用 它 的 应 用 程序 ， 而 客户 端 在 操作 过 程 中 与 许多 不 
同 的 节点 进行 通信 。 


大 数据 集群 
在 大 量 节 点 间 储存 大 量 数据 


外 部 秘 钥 管理 


\ 全 堆栈 


加 密 数据 
明文 数据 
图 9.6 ”数据 安全 技术 
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数据 安全 技术 主要 包括 以 下 4 个 方面 。 

(1) 规模 、 实 时 性 和 分 布 式 处 理 。 大 数据 的 本 质 特征 《使 大 数据 解决 超过 以 前 数 
据 管理 系统 的 数据 管理 和 处 理 需求 ， 例 如 ， 在 容量 、 实 时 性 、 分 布 式 架构 和 并 行 处 理 等 
方面 ) 使 得 保障 这 些 系统 的 安全 更 为 困难 。 大 数据 集群 具有 开放 性 和 自我 组 织 性 ， 并 可 
以 使 用 户 与 多 个 数据 节点 同时 通信 。 验 证 哪些 数据 节点 和 哪些 客户 应 当 访问 信息 是 很 困 
难 的 。 

(2) 顽 入 式 安 全 。 在 涉及 大 数据 的 疯狂 竞赛 中 ， 大 部 分 的 开发 资源 都 用 于 改善 大 数 
据 的 可 升级 、 易 用 性 和 分 析 功能 上 ， 只 有 很 少 的 功能 用 于 增加 安全 功能 。 但 是 ， 用 户 希 户 
得 到 嵌入 到 大 数据 平台 中 的 安全 功能 ， 望 开发 人 员 在 设计 和 部 署 阶段 能 够 支持 所 需要 的 功 
能 ， 希 望 安 全 功能 就 像 大 数据 集群 一 样 可 升级 、 高 性 能 、 自 组 织 。 问 题 是 ， 开 源 系 统 或 多 
数 商业 系统 一 般 都 不 包括 安全 产品 。 而 且 许多 安全 产品 无 法 嵌入 到 Hadoop 或 其 他 的 非 关 
系 型 数据 库 中 。 多 数 系统 提供 最 少 的 安全 功能 ， 但 不 足以 包括 所 有 的 常见 威胁 。 在 很 大 程 
度 上 ， 用 户 需要 自己 构建 安全 策略 。 

(3) 应 用 程序 安全 。 面 向 大 数据 集群 的 大 多 数 应 用 都 是 Web 应 用 。 它 们 利用 基于 Web 
的 技术 和 无 状态 的 基于 REST 的 API。 虽 然 全 面 讨论 大 数据 安全 的 这 个 问题 超出 了 此 处 要 讨 
论 的 范围 ， 但 基于 Web 的 应 用 程序 和 API 给 这 些 大 数据 集群 带 来 了 最 重大 的 威胁 ， 在 遭受 
攻击 或 破坏 后 ， 它 们 可 以 提供 对 大 数据 集群 中 所 存储 数据 的 无 限制 访问 。 因 此 应 用 程序 安 
全 、 用 户 访问 管理 及 授权 控制 非常 重要 ， 与 重点 保障 大 数据 集群 安全 的 安全 措施 一 样 都 不 
可 或 缺 。 

(4) 数据 安全 。 存 储 在 大 数据 集群 中 的 数据 基本 上 都 保存 在 文件 中 。 每 一 个 客户 端 
应 用 都 可 以 维持 其 自己 的 包含 数据 的 设计 ， 但 这 种 数据 是 存储 在 大 量 节 点 上 的 。 存 储 在 集 
群 中 的 数据 易于 遭受 正常 文件 容易 感染 的 所 有 威胁 ， 因 而 需要 对 这 些 文件 进行 保护 ， 避 免 
遭受 非法 的 查看 和 复制 。 

应 用 大 数据 ， 必 须 遵守 几 点 法 规 和 控制 。 

(1) 在 启动 大 数据 项 目 之 前 要 考虑 安全 问题 ， 不 应 该 等 到 发 生 数 据 突破 事件 之 后 再 
采取 保证 数据 安全 的 措施 。 组 织 的 IT 安全 团队 和 参加 大 数据 项 目的 其 他 人 员 在 向 分 布 式 计 
算 (Hadoop) 集群 安装 和 发 送 大 数据 之 前 应 该 认真 讨论 安全 问题 。 

(2) 考虑 要 存储 什么 数据 。 在 计划 使 用 Hadoop 存 储 和 运行 要 提交 给 监管 部 门 的 数据 
时 ， 可 能 需要 遵守 具体 的 安全 要 求 。 即 使 所 存储 的 数据 不 受 监管 部 门 的 管辖 ， 也 要 评估 风 
险 ， 如 果 个 人 身份 信息 等 数据 丢失 ， 造 成 的 风险 将 包括 信誉 损失 和 收入 损失 。 

(3) 责任 集中 。 现 在 ， 企 业 的 数据 可 能 存在 于 多 个 机 构 的 竖井 之 中 和 数据 集中 。 集 
中 的 数据 安全 的 责任 可 保证 在 所 有 这 些 竖井 中 强制 执行 一 致 的 政策 和 访问 控制 。 

(4) 加 密 静 态 和 动态 数据 。 在 文件 层 增加 透明 的 数据 加 密 。SSL 安全 套 接 层 ) 加 
密 能 够 使 数据 在 节点 和 应 用 程序 之 间 移 动 时 保护 大 数据 。 安 全 研究 与 顾问 公司 Securosis 的 
首席 技术 官 和 分 析 师 阿 德里 安 。 莱 恩 (Adrian Lane) 称 ， 文 件 加 密 解 决 了 绕 过 正常 的 应 用 
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安全 控制 的 两 种 攻击 方式 。 在 恶意 用 户 或 者 管理 员 获得 数据 节点 的 访问 权限 和 直接 检查 文 
件 的 权限 以 及 可 能 窃取 文件 或 者 不 可 读 的 磁盘 镜像 的 情况 下 ， 加 密 可 以 起 到 保护 作用 。 这 
是 解决 一 些 数据 安全 威胁 的 节省 成 本 的 途径 。 

(5) 把 密 钥 与 加 密 的 数据 分 开 。 把 加 密 数 据 的 密 钥 存储 在 加 密 数 据 所 在 的 同一 台 服 
务 器 中 等 于 是 锁 上 大 门 ， 然 后 把 钥匙 悬挂 在 锁 头 上 。 密 钥 管理 系统 允许 组 织 安全 地 存储 加 
密 密 钥 ， 把 密 钥 与 要 保护 的 数据 隔离 开 。 

(6) 使 用 Kerberos 网 络 身 份 识 别 协 议 。 企 业 需 要 能 够 管理 什么 人 和 流程 可 以 访问 存 
储 在 Hadoop 中 的 数据 。 这 是 避免 流氓 节点 和 应 用 进入 集群 的 一 种 有 效 方法 。 莱 恩 说 ， 这 
能 够 帮助 保护 网 络 控制 接 入 ， 使 管理 功能 很 难 被 攻破 。 我 们 知道 ， 设 置 Kerberos 比 较 困 
难 ， 验 证 或 重新 验证 新 的 节点 和 应 用 可 以 发 挥 作用 。 但 是 ， 没 有 建立 双向 的 信任 ， 欺 骗 
Hadoop 人 允许 恶意 应 用 进入 这 个 集群 或 者 接受 引进 的 恶意 节点 是 很 容易 的 。 这 个 恶意 节点 
以 后 可 以 增加 、 修 改 或 者 提取 数据 。Kerberos 协 议 是 可 以 控制 的 最 有 效 的 安全 控制 措施 。 
Kerberos 建 在 Hadoop 基 础 设施 中 ， 因 此 ， 建 议 使 用 它 。 

(7) 使 用 安全 自动 化 。 企 业 处 理 般 是 一 个 多 节点 环境 ， 因 此 ， 部 署 的 一 致 性 是 很 难 
保证 的 。Chef 和 Puppet 等 自动 化 工具 能 够 帮助 企业 更 好 地 使 用 补丁 、 配 置 应 用 程序 、 更 新 
Hadoop 栈 、 收 集 可 信赖 的 机 器 镜像 、 证 书 和 平台 的 不 一 致 性 等 信息 。 事 先 建立 这 些 脚 本 
需要 一 些 时 间 ， 但 是 ， 以 后 会 得 到 减少 管理 时 间 的 回报 ， 并 且 额 外 地 保证 每 一 个 节点 都 有 
基本 的 安全 。 

(8) 向 Hadoop 集 群 增加 记录 。 大 数据 很 自然 地 适合 收集 和 管理 记录 数据 。 许 多 网 站 
公司 开始 使 用 大 数据 专门 管理 记录 文件 。 向 现 有 的 集群 增加 记录 会 让 企业 观察 到 什么 时 候 
出 现 的 故障 或 者 是 否 有 人 以 为 企业 已 经 被 黑客 攻破 了 ， 没 有 事件 跟踪 记录 就 无 法 知晓 。 记 
录 MR 请 求 和 其 他 集群 活动 是 很 容易 的 ， 并 且 只 会 稍微 提高 存储 和 处 理 需求 ， 但 是 ， 当 有 
需要 的 时 候 ， 这 些 数据 则 是 不 可 或 缺 的 。 

(9) 节点 之 间 以 及 节点 与 应 用 之 间 采 用 安全 通信 。 要 做 到 这 一 点 ， 需 要 部 署 一 个 
SSL/TLS〈 安 全 套 接 层 /传输 层 安全 ) 协议 保护 企业 的 全 部 网 络 通信 ， 而 不 是 仅仅 保护 一 个 
子 网 。 就 像 许多 云 服务 提供 商 一 样 ，Cloudera 等 Hadoop 提 供 商 已 经 在 做 这 件 事 。 如 果 设 置 
上 没有 这 种 能 力 ， 就 需要 把 这 些 服务 集成 到 应 用 栈 中 。 


9.3.2 数据库 安全 


除数 据 安全 之 外 ， 数 据 库 安 全 性 也 是 数据 安全 方面 的 重点 。 数 据 库 的 安全 主要 是 指 
保护 数据 库 以 防止 不 合法 使 用 造成 的 数据 泄露 、 更 改 或 者 破坏 ， 用 来 保证 数据 库 中 数据 的 
完整 性 、 一 致 性 以 及 数据 库 备份 与 恢复 。 数 据 库 的 安全 性 和 计算 机 系统 的 安全 性 〈 包 括 操 
作 系 统 、 网 络 系统 的 安全 性 ) 相互 联系 ， 相 互 支持 ， 只 有 各 个 环节 都 安全 ， 才 能 保证 数据 
库 的 安全 性 。 当 前 对 数据 库 安全 的 威胁 主要 分 为 物理 上 的 威胁 和 逻辑 上 的 威胁 。 物 理 上 的 
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威胁 指 水 灾 火 灾 等 造成 的 硬件 故障 ， 从 而 导致 数据 的 损坏 和 丢失 等 。 为 了 消除 物理 上 的 威 
胁 ， 通 常 采用 备份 和 恢复 的 策略 。 逻 辑 上 的 威胁 主要 是 指 对 信息 的 未 被 授权 的 存 取 ， 可 以 
分 为 以 下 3 类 。 

(1) 信息 泄露 。 包 括 直 接 和 非 直接 的 对 保护 数据 的 存 取 。 

(2) 非法 的 数据 修改 。 由 操作 人 员 的 失误 或 非法 用 户 的 故意 修改 引起 。 

(3) 拒绝 服务 。 通 过 独占 系统 资源 导致 其 他 用 户 不 能 访问 数据 库 。 为 了 消除 逻辑 上 
的 威胁 ，DBMS 必 须 提供 可 靠 的 安全 策略 ， 以 确保 数据 库 的 安全 性 。 

要 解决 系统 的 安全 性 问题 ， 必 须 制定 一 套 安全 策略 。 

(1) 完全 自主 方式 。 从 底层 开始 ， 包 括 硬件 平台 、 操 作 系 统 、 网 络 操 作 系 统 和 数据 
库 管理 系统 ， 全 部 自己 开发 。 按 道理 这 是 最 安全 的 ， 但 是 面 对 这 么 多 如 此 庞大 的 系统 ， 技 
术 和 时 间 是 一 个 问题 ， 而 且 开发 出 的 软件 包含 错误 也 是 不 可 避免 的 ， 如 此 将 使 可 信 性 检测 
变 得 非常 困难 。 这 样 一 来 ， 也 就 谈 不 上 安全 性 了 。 

(2) 底层 依赖 方式 。 选 用 现 有 的 安全 的 硬件 平台 相对 安全 的 操作 系统 、 网 络 操作 系 
统 和 数据 库 管 理 系 统 ， 在 此 基础 上 进行 系统 开发 。 但 其 安全 性 问题 同样 值得 忧虑 ， 因 为 没 
有 人 敢 断 言 这 些 庞大 复杂 的 系统 是 可 信 的 ， 也 没有 哪个 用 户 拥 有 如 此 先进 的 手段 对 其 进行 
可 信 性 检测 ， 有 许多 不 安全 因素 都 可 能 从 这 里 产生 。 

(3) 组 合 构架 方式 。 即 利用 现 有 的 安全 的 硬件 平台 、 相 对 安全 的 操作 系统 、 网 络 系 
统 和 数据 库 管 理 系 统 ， 在 此 基础 上 进行 局 部 改造 ， 开 发 安全 外 壳 。 应 该 说 ， 这 是 一 个 比较 
现实 的 安全 策略 。 

当前 采用 的 数据 库 安全 技术 主要 有 标志 和 鉴别 、 访 问 控制 、 信 息 流 控 制 、 推 理 控制 、 
审计 和 加 密 等 ， 其 中 应 用 最 广 也 最 为 有 效 的 是 访问 控制 技术 。 

1) 标志 和 鉴别 

标志 是 指 用 户 向 系统 出 示 自 己 的 身份 证 明 ， 最 简单 的 方法 是 输入 用 户 名 和 密码 。 标 
志 机 制 用 于 唯一 标志 进入 系统 的 每 个 用 户 的 身份 ， 因 此 必须 保证 标志 的 唯一 性 。 鉴 别 是 指 
系统 检查 验证 用 户 的 身份 证 明 ， 鉴 别 机 制 用 于 检验 用 户 身份 的 合法 性 。 标 志和 鉴别 功能 的 
存在 保证 了 只 有 合法 的 用 户 才 能 存 取 系统 中 的 资源 。 身 份 的 标志 和 鉴别 是 对 访问 者 授权 的 
前 提 ， 并 通过 审计 机 制 使 其 保留 追究 用 户 行为 责任 的 能 力 。 功 能 完善 的 标志 与 鉴别 机 制 ， 
也 是 访问 控制 机 制 有 效 实施 的 基础 ， 特 别 是 在 一 个 开放 的 多 用 户 系统 的 网 络 环境 中 ， 识 别 
授权 用 户 是 构筑 安全 防线 的 第 一 个 重要 环节 。 标 志 过 程 易 与 鉴别 过 程 相 混 淆 ， 标 志 过 程 是 
将 用 户 与 程序 或 进程 联系 起 来 ; 鉴别 过 程 的 目的 则 在 于 将 用 户 和 真正 的 合法 授权 用 户 相 关 
联 。 近 年 来 标志 和 鉴别 技术 发 展 迅 速 ， 主 要 有 密码 验证 、 智 能 卡 验证 、 指 纹 验证 、 手 型 几 
何 验证 、 声 音 识别 验证 、 虹 膜 识别 验证 等 技术 。 

2) 访问 控制 

任何 计算 机 系统 都 有 两 种 资源 :主动 的 主体 和 被 动 的 客体 。 在 数据 库 系统 中 ， 用 户 、 
进程 等 是 存 取 动作 的 主体 ， 而 客体 是 数据 、 表 、 记 录 、 元 组 、 字 段 等 。 访 问 控制 就 是 当主 
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体 请 求 对 客体 访问 时 ， 系 统 根据 主体 〈 进 程 ) 的 用 户 和 组 的 标识 符 、 安 全 级 和 权限 ， 客 体 
的 安全 级 、 访 问 权限 以 及 存 取 访问 的 检查 规则 ， 决 定 是 否 允许 主体 对 客体 请 求 的 存 取 访 问 
方式 〈 读 、 写 、 修 改 、 删 除 、 加 入 记录 等 ) 的 访问 。 访 问 控制 策略 的 正确 性 取决 于 正确 的 
用 户 标志 和 对 访问 控制 机 制 的 保护 。 在 设计 一 个 正确 的 访问 控制 策略 和 构建 一 个 正确 的 访 
问 控制 安全 模型 时 ， 必 须 考虑 以 下 原则 : 最 小 权限 和 最 大 权限 原则 ， 开 放 式 系统 和 封闭 式 
系统 原则 ， 集 中 管理 和 分 散 管 理 原 则 ， 粒 度 原则 ， 访 问 权 限 原 则 。 
访问 控制 分 为 DAC、MAC 和 RBAC 3 种 类 型 。 
(1) DAC 最 早出 现在 20 世 纪 60 年 代 末 期 的 分 时 系统 中 ， 它 是 根据 主体 身份 或 者 主体 
所 属 组 的 身份 或 二 者 的 结合 ， 对 客体 访问 进行 限制 的 一 种 方法 ， 其 粒度 是 单个 用 户 。 当 主 
体 具 有 某 种 访问 权 ， 同 时 又 拥有 将 该 权限 授予 其 他 用 户 的 权利 时 ， 能 够 自行 决定 将 其 访问 
权 直 接 或 间接 地 转 授 给 其 他 主体 。DAC 的 优点 是 简单 、 灵 活 ， 在 一 定 程度 上 实现 了 多 用 
户 环境 下 的 权限 隔离 和 资源 保护 ， 易 于 扩展 和 理解 ;缺点 是 很 难 控制 已 授 出 的 访问 权限 ， 
HRU 易 遭受 特洛伊 木马 等 旁 路 攻击 。 为 了 增强 数据 库 系统 的 安全 性 ， 需 要 对 授权 传播 进行 
限制 。 访 问 控制 模型 对 其 进行 了 改进 ， 其 基本 思想 是 采用 客体 主人 自主 管理 该 客体 的 访问 
与 安全 管理 员 限制 访问 权限 随意 扩散 相 结合 的 半 自 主 式 的 资源 管理 方案 。DAC 的 一 般 实 现 
机 制 是 访问 控制 矩阵 ， 常 见 实 现 方法 是 访问 控制 表 (ACL) 、 访 问 能 力 表 和 授权 关系 表 。 
DAC 对 授权 的 管理 主要 有 集中 式 管理 、 分 级 式 管理 、 基 于 所 有 者 的 管理 、 协 作 式 管理 和 分 
散 式 管理 等 5 种 方式 。 由 于 DAC 本 质 上 的 问题 ， 引 入 了 MAC。 
(2) MAC 最 早出 现在 20 世纪 70 年 代 ， 在 80 年 代 得 到 普遍 应 用 ， 其 理论 基础 是 
BELL-LAPADULA 模 型 ， 基 本 思想 是 通过 给 主体 (用 户 ) 和 客体 〈 数 据 对 象 ) 指定 安全 
级 ， 并 根据 安全 级 匹配 规则 来 确定 某 主体 是 否 被 准许 访问 某 客 体 。 安 全 级 包括 两 个 元 素 : 
密级 和 范围 。 主 体 的 安全 级 反映 主体 的 可 信和 度 ， 客 体 的 安全 级 反映 客体 的 敏感 度 。 主 要 采 
用 以 下 规则 分 别 保 证 信息 的 机 密 性 和 完整 性 : 
@ 为 了 保证 信息 的 机 密 性 ， 要 求 : 无 上 读 ， 主 体 仅 能 读 取 安 全 级 别 受 此 主体 安全 级 
别 支配 的 客体 的 信息 ; 无 下 写 ， 主 体 仅 能 向 安全 级 别 支配 此 主体 安全 级 别 的 客体 
写 信 息 。 

@ 为 了 保证 信息 的 完整 性 ， 要 求 : 无 下 读 ， 主 体 仅 能 读 取 安 全 级 别 支配 此 主体 安 
全 级 别 的 客体 的 信息 ; 无 上 写 ， 主 体 仅 能 向 安全 级 别 受 此 主体 安全 级 别 支配 的 
客体 写 信息 。 

上 述 规则 保证 了 信息 的 单 向 流动 。 将 MAC 应 用 于 RDBMS 会 产生 多 级 关系 和 引出 多 实 
例 化 问题 ， 故 支持 MAC 的 DBMS 也 称 为 多 级 安全 的 DBMS。MAC 的 优点 是 能 够 防止 特 洛 
伊 木马 和 隐 通 道 的 攻击 以 及 防范 用 户 滥用 权限 缺点 是 配置 粒度 大 ， 缺 乏 灵活 性 而 且 强制 
性 太 强 ， 使 得 应 用 的 领域 比较 窄 ， 一 般 只 用 于 军事 等 具有 明显 等 级 观念 的 行业 或 领域 。 美 
国 SecureComputing 公 司 对 其 进行 了 改进 ， 提 出 了 TE (Type Enforcement) 控制 技术 ， 该 技 
术 把 主体 和 客体 分 别 进行 归 类 ， 它 们 之 间 是 否 有 访问 授权 由 TE 授权 表决 定 。 TE 授权 表 由 
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安全 管理 员 负 责 管理 和 维护 。 
(3) RABC 的 概念 早 在 20 世 纪 70 年 代 由 美国 George Mason 大 学 的 Ravisandu 教 授 提 出 ， 
但 在 相当 长 的 一 段 时 间 内 没有 得 到 人 们 的 关注 。 进 入 20 世 纪 90 年 代 ， 由 于 安全 需求 的 发 
展 ，RABC 又 引起 了 人 们 极 大 的 关注 。RABC 中 涉及 的 基本 元 素 包括 用 户 、 角 色 、 访 问 权 和 
会 话 ， 与 传统 访问 控制 的 差别 在 于 在 用 户 和 访问 许可 权 之 间 引 入 了 角色 这 一 层 。 角 色 是 一 
组 用 户 和 一 组 操作 权限 的 集合 ， 角 色 中 所 属 的 用 户 可 以 有 执行 这 些 操作 的 权限 。 用 户 与 角 
色 间 是 多 对 多 的 关系 ， 角 色 与 访问 许可 权 之 间 也 是 多 对 多 关系 。 当 用 户 登 录 到 RABC 系 统 时 
会 得 到 一 个 会 话 ， 这 个 会 话 可 能 激活 的 角色 是 该 用 户 全 部 角色 的 一 个 子 集 。 角 色 可 以 根据 
实际 的 工作 需要 生成 或 取消 ， 而 且 用 户 也 可 以 根据 自己 的 需要 动态 激活 自己 拥有 的 角色 ， 
这 样 就 避免 了 用 户 无 意 中 危 害 系统 安全 ， 而 且 容 易 实施 最 小 特权 原则 。 由 于 数据 库 应 用 层 
的 角色 的 逻辑 意义 更 为 明显 和 直接 ， 因 此 RABC 非 常 适用 于 数据 库 应 用 层 的 安全 模型 。 
RABC 的 优点 主要 在 以 下 3 个 方面 。 
@ 角色 控制 相对 独立 ， 根 据 配置 可 使 某 些 角色 接近 DAC， 某 些 角 色 接近 MAC。 因 此 
RABC 既 可 以 构造 出 MAC 系 统 ， 也 可 以 构造 出 DAC 系 统 ， 还 可 以 构造 出 同时 具备 
MAC 和 DAC 的 系统 。 
@ 是 一 种 策略 无 关 的 访问 控制 技术 ， 它 不 局 限于 特定 的 安全 策略 ， 几 乎 可 以 描述 任 
何 的 安全 策略 ， 甚 至 DAC 和 MAC 也 可 以 用 RBAC 来 描述 。 
@ RABC 具 有 自 管理 的 能 力 。 利 用 RABC 思 想 产生 出 的 ARBAC 模 型 能 够 很 好 地 实现 
对 RBAC 的 管理 。 由 于 RBAC 比 DAC 和 MAC 复 杂 ， 系 统 实现 难度 大 ， 而 且 RBAC 的 
策略 无 关 性 需要 用 户 自己 定义 适合 本 领域 的 安全 策略 ， 因 此 定义 众多 的 角色 和 访 
问 权限 及 它们 之 间 的 关系 也 是 一 件 非常 复杂 的 工作 。 
3) 信息 流 控制 
20 世 纪 70 年 代 后 期 ，Denning 提 出 了 信息 流 控制 的 基本 思路 ， 用 以 对 可 访问 的 对 象 
之 间 的 信息 流程 加 以 监控 和 管理 。 信 息 流 控制 机 制 对 系统 的 所 有 元 素 、 组 成 成 分 等 划分 
类 别 和 级 别 。 在 对 象 X 和 对 象 Y 之 间 的 流程 是 指 由 对 象 X 读 取 数 据 的 值 之 后 将 该 值 写 入 对 
象 Y 的 过 程 。 信 息 流 控制 负责 检查 信息 的 流向 ， 使 高 保护 级 别 对象 所 含 信息 不 会 被 传送 到 低 
保护 级 别 的 对 象 中 去 ， 而 不 论 这 个 过 程 是 显 式 的 〈 如 复制 过 程 ) 或 是 隐 式 的 (如 隐秘 通 
道 ) ， 这 可 以 避免 某 些 怀 有 恶意 的 用 户 从 较 低 保护 级 别 的 后 一 个 对 象 中 取得 较为 秘密 的 信息 。 
信息 流 控 制 技术 分 为 静态 信息 流 控制 技术 和 动态 信息 流 控 制 技术 。 目 前 信息 流 控制 技 
术 还 不 够 成 熟 ， 难 以 彻底 解决 隐秘 通道 等 问题 ， 这 是 因为 实际 系统 的 复杂 程度 超过 了 形式 
化 验证 技术 所 能 处 理 的 复杂 程度 。 令 人 欣喜 的 是 ， 国 内 外 学 者 在 坚持 几 十 年 的 努力 之 后 ， 
对 解决 这 个 问题 持 积极 乐观 的 态度 。 

4) 推理 控制 

推理 是 指 用 户 通过 间接 的 方式 获取 本 不 该 获取 的 数据 或 信息 。 推 理 控 制 的 目标 就 是 防 
止 用 户 通 过 间接 的 方式 获取 本 不 该 获取 的 数据 或 信息 。 
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@ 推理 途径 
设 数据 X 与 数据 7 之 间 存 在 某 种 函数 关系 : 二 F(X) ， 而 X 是 该 用 户 的 授权 存 取 数 据 
合 ， 则 该 用 户 就 可 以 通过 调用 尺 (2 而 取得 本 无 访问 授权 的 数据 集合 7。 由 X 到 达 7 的 联 

通 是 一 个 推理 途径 。 系 统 中 的 推理 途径 主要 有 两 种 : 间接 存 取 访问 和 相关 数据 。 

@ 推理 统计 

20 世 纪 70 年 代 后 期 ，Denning 就 已 经 开始 研究 统计 推理 。 典 型 的 情况 是 在 统计 数据 库 
中 ， 只 允许 用 户 查 询 聚 集 类 型 的 信息 〈 即 统计 数据 ) ， 不 允许 查询 单个 记录 的 信息 。 但 是 
其 中 可 能 存在 隐蔽 的 信息 通道 ， 使 得 可 以 从 合法 的 查询 中 ， 推 导出 不 合法 的 信息 。 统 计 推 
理 就 是 通过 合法 而 巧妙 地 使 用 统计 函数 来 获得 通过 授权 访问 不 能 获得 的 保密 数据 。 对 付 统 
计 推 理 的 技术 主要 有 两 种 : 数据 扰动 ， 即 事先 对 需要 进行 统计 的 敏感 数据 进行 加 工 ;查询 
控制 。 对 统计 查询 的 控制 是 比较 成 功 的 技术 ， 目 前 已 经 实际 应 用 到 统计 数据 库 中 并 有 较 多 
成 功 经 验 ， 该 技术 大 部 分 是 控制 可 以 查询 的 记录 数 。 

5) 审计 

审计 功能 是 DBMS 安 全 性 方面 重要 的 一 部 分 。 由 于 任何 系统 的 安全 保护 措施 都 不 是 无 
懈 可 击 的 ， 蓄 意 盗 穷 、 破 坏 数 据 的 人 总 是 想方设法 打破 控制 。 通 过 审计 ， 可 以 把 用 户 对 数 
据 库 的 所 有 操作 自动 记录 下 来 放 入 审计 日 志 中 ， 这 样 数据 库 系 统 可 以 利用 审计 跟踪 的 信 
息 ， 重 现 导致 数据 库 现 有 状况 的 一 系列 事件 ， 找 出 非法 存 取 数 据 的 人 、 时 间 和 内 容 等 ， 以 
便于 追查 有 关 责 任 ， 同 时 审计 也 有 助 于 发 现 系统 安全 方面 的 弱点 和 漏洞 。 按 照 ITDITCSEC 
标准 中 安全 策略 的 要 求 ， 审 计 功 能 也 是 DBMS 达 到 C2 以 上 安全 级 别 必 不 可 少 的 一 项 指标 。 
审计 日 志 对 于 事后 的 检查 十 分 有 效 ， 它 有 效 地 增强 了 数据 的 物理 完整 性 。 但 是 对 于 粒度 过 
细 《 如 每 个 记录 值 的 改变 ) 的 审计 ， 是 很 费时 间 和 空间 的 ， 特 别 是 在 大 型 分 布 和 数据 复制 
环境 下 的 大 批量 、 短 事务 处 理 的 应 用 系统 中 ， 实 际 上 是 很 难 实现 的 。 因 此 DBMS 往 往 将 其 
作为 可 选 特征 ， 允 许 数 据 库 系统 根据 应 用 对 安全 性 的 要 求 ， 灵 活 地 打开 或 关闭 审计 功能 。 
审计 功能 一 般 主要 用 于 安全 性 要 求 较 高 的 部 门 。 

6) 加 密 

对 于 数据 库 中 存储 的 高 度 敏感 的 机 密 性 数据 ， 如 财务 数据 、 军 事 数据 、 国 家 机 密 等 ， 
除 以 上 安全 性 措施 外 ， 还 应 该 采用 数据 加 密 技术 。 数 据 加 密 是 防止 数据 库 中 的 数据 在 存储 
和 传输 中 失 密 的 有 效 手段 。 加 密 的 基本 思想 是 根据 一 定 的 算法 将 原始 数据 变换 为 不 可 直接 
识别 的 格式 ， 从 而 使 不 知道 解密 算法 的 人 无 法 获知 数据 的 内 容 。 数 据 库 加 密 系统 有 其 自身 
的 要 求 和 特点 。 传 统 的 加 密 以 报 文 为 单位 ， 加 / 脱 密 都 是 从 头 至 尾 顺序 进行 。 数 据 库 数据 
的 使 用 方法 决定 了 它 不 可 能 以 整个 数据 库 文件 为 单位 进行 加 密 ， 在 目前 条 件 下 ， 加 / 脱 密 
的 粒度 是 每 个 记录 的 字段 数据 。 传 统 加 密 方法 主要 有 替换 和 置换 两 种 。 现 在 比较 流行 的 加 
密 方法 是 使 用 公开 密 钥 进行 加 密 ， 其 优点 是 难以 破解 ， 但 是 加 脱 密 速 度 较 慢 ， 而 且 不 符合 
数据 库 加 密 机 制 的 “ 既 可 加 密 又 可 脱 密 的 可 逆 过 程 ” 这 个 特性 。 在 实际 应 用 时 采用 改进 的 
分 组 加 密 算法 ， 使 其 符合 数据 库 加 密 的 要 求 。 
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数据 库 加 密 对 DBMS 有 如 下 影响 。 

@ 对 数据 约束 条 件 定义 产生 影响 。 

@ SQL 语言 中 的 内 部 函数 将 对 加 密 数据 失去 作用 。 
@ 将 不 能 对 密 文 数 据 进行 排序 、 分 组 和 分 类 。 

@ DBMS 的 一 些 应 用 开发 工具 的 使 用 受到 限制 。 


9.4 电力 数据 应 用 技术 


配 电网 处 于 电力 系统 的 末端 ， 具 有 地 域 分 布 广 、 电 网 规模 大 、 设 备 种 类 多 、 网 络 连接 
多 样 、 运 行 方式 多 变 等 鲜明 特点 。 随 着 城镇 化 建设 和 用 电 需 求 的 增长 ， 配 电网 一 直 在 不 断 
地 改造 和 扩建 ， 其 规模 也 不 断 扩大 ， 国 网 公司 系统 内 大 多 数 县 级 以 上 配 电网 馈线 的 规模 都 
已 达到 百 条 以 上 ， 一 些 中 、 大 型 城市 的 中 压 馈线 已 达到 或 超过 千 条 。 

随 着 配 电 自动 化 、 用 电信 息 采 集 等 应 用 系统 的 推广 应 用 ， 对 于 有 千 条 馈线 的 大 规模 配 
电网 ， 配 电网 中 会 产生 指数 级 增长 的 海量 异 构 、 多 态 的 数据 ， 数 据 集合 的 大 小 可 达到 当今 
信息 学 界 所 关注 的 大 数据 级 别 。 此 外 ， 大 规模 配 电 网 还 具有 如 下 特征 。 

(1) 数据 采集 多 ， 每 个 采集 点 采集 相对 固定 类 别 的 数据 ， 且 分 布 在 各 个 电压 等 级 内 。 

(2) 不 同 采集 点 的 采样 尺度 不 同 ， 数 据 断面 不 同 。 

(3) 数据 不 健全 ， 数 据 采 集 存在 误差 和 漏 传 。 

(4) 数据 分 布 在 不 同 的 应 用 系统 中 。 

含有 包括 光伏 发 电 、 风 电 、 燃 气 轮机 等 分 布 式 电源 (Distributed Generator，DG) 的 
配 电网 即 有 源 配 电网 。 分 布 式 电源 的 不 断 渗透 给 大 规模 配 电网 传统 的 分 析 与 计算 带 来 更 大 
的 挑战 。 分 布 式 电 源 接 入 电网 后 ， 向 电网 调度 机 构 提 供 的 信息 至 少 应 当 包 括 : 

(1) 电源 并 网 状态 、 有 功 和 无 功 输出 、 发 电量 。 

(2) 电源 并 网 点 母线 电压 、 频 率 和 注入 电力 系统 的 有 功 功 率 、 无 功 功率 。 

(3) 变压器 分 接头 挡 位 、 断 路 器 和 隔离 开关 状态 。 因 此 ， 分 布 式 电源 接 入 后 ， 在 原 
已 规模 很 大 的 配 电网 数据 采集 中 新 增 了 一 组 需 采 集 的 数据 项 ， 同 时 也 会 恶化 配 电网 数据 采 
集 的 非 健全 性 和 不 确定 性 。 

鉴于 大 数据 在 电力 系统 的 应 用 场景 越 来 越 多 ， 有 必要 对 大 数据 在 配 电网 的 应 用 场景 和 
目标 进行 分 析 与 总 结 ， 为 大 数据 技术 在 智能 电网 中 的 应 用 提供 有 益 参 考 。 


9.4.1 配 电网 大 数据 的 来 源 和 特征 


智能 配 用 电大 数据 应 用 具备 丰富 的 数据 源 ， 现 在 大 多 数 地 市 拥有 多 个 配 电 管理 系统 ， 
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包括 配 电 自动 化 系统 、 调 度 自 动 化 系统 、 电 网 气象 信息 系统 、 电 能 质量 监测 管理 系统 、 生 
产 管理 系统 、 地 理 信息 系统 、 用 电信 息 采 集 系 统 、 配 变 负 荷 监测 系统 、 负 荷 控 制 系统 、 营 
销 业 务 管理 系统 、ERP 系 统 、95598 客 服 系统 、 经 济 社会 类 数据 等 数据 源 ， 这 些 数 据 源 的 
总 体 状况 如 表 9. 1 所 示 。 

表 9.1 典型 配 电 系统 数据 源 
数据 源 系 统 
配 电 自动 化 结构 化 数据 
生产 管理 系统 结构 化 数据 
地 理 信 息 系统 半 结 构 化 / 非 结 构 化 数据 
调度 自动 化 系统 结构 化 数据 
用 电信 息 采 集 结构 化 数据 
| 6 | 失控 制 系统 | 结构 化 数据 | 
| 7 | 负荷 监测 系统 。 _ | 结构 化 半 结 构 化 数据 | 
| 8 | 营销 业务 应 用 系统 《| 结构 化 数据 
| 。 | 电能 质量 监测 系统 《| 结构 化 / 半 结 构 化 数据 | 
| 10 |[ 电网 气象 信息 系统 《| 非 结构 化 数据 | 
| 1 | 9598 客服 系 统 | 非 结构 化 数据 | 
| 1 | ERP 和 统 | 结构 化 数据 | 
| 3 | 地 区 社会 经 济 数 据 ” |  ” _ 结构 化 / 非 结构 化 数据 | 


这 些 数据 源 涵 盖 了 调度 、 运 检 、 营 销 等 多 个 管理 业务 ， 以 及 绝 大 部 分 110 kV 及 以 下 多 
电压 等 级 的 电网 监控 和 采集 信息 。 从 数据 源 类 型 来 讲 ， 智 能 配 用 电大 数据 应 用 的 数据 源 类 
型 丰富 ， 覆 盖 配 变 、 配 电 变 电站 、 配 电 开 关 站 、 电 表 、 电 能 质量 等 配 用 电 自 动 化 和 信息 化 
数据 、 用 户 数 据 和 社会 经 济 等 数据 。 
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9.4.2” 配 电网 典型 大 数据 场景 分 析 


1. 面向 有 源 配 电网 规划 的 负荷 预测 


随 着 配 电网 信息 化 的 快速 发 展 和 电力 需求 影响 因素 的 逐渐 增多 ， 用 电 预 测 的 大 数据 特 
征 日 益 凸显 ， 传 统 的 用 电 预 测 方法 已 经 不 再 适用 。 由 于 智能 预测 方法 具备 良好 的 非 线 性 拟 
合 能 力 ， 因 此 近年 来 用 电 预 测 领域 出 现 了 大 量 的 研究 成 果 ， 遗 传 算法 、 粒 子 群 算法 、 支 持 
向 量 机 和 人 工 神经 网 络 等 智能 预测 算法 也 开始 广泛 地 应 用 于 用 电 预 测 中 。 传 统 的 用 电 负荷 
预测 受 限于 较 罕 的 数据 采集 渠道 或 较 低 的 数据 集成 、 存 储 和 处 理 能 力 ， 使 研究 人 员 难 以 从 
中 挖掘 出 更 有 价值 的 信息 。 通 过 将 体 量 更 大 、 类 型 更 多 的 电力 大 数据 作为 分 析 样 本 可 以 实 
现 对 电力 负荷 的 时 间 分 布 和 空间 分 布 预测 ， 为 规划 设计 、 电 网 运行 调度 提供 依据 ， 提 升 决 
策 的 准确 性 和 有 效 性 。 
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2. 配 电网 运行 状态 评估 与 预警 


基于 大 数据 技术 的 配 电网 运行 状态 评估 与 预警 研究 内 容 〈 参 见 图 9.7 所 示 ) ， 包 括 以 
下 4 个 方面 。 


基于 大 数据 的 配 电网 运行 状态 评估 与 预警 


平价 | 故障 辨识 与 风险 指标 


图 9.7 ” 配 电 网 运行 状态 评估 与 预警 研究 

(1) 对 配 电网 进行 安全 性 评价 ， 如 电力 系统 的 频率 、 节 点 电压 水 平 、 主 变 和 线路 负 
载 率 等 。 

(2) 对 配 电 网 的 供电 能 力 进行 评价 ， 如 容 载 比 、 线 路 间 负 荷 转移 能 力 等 。 当 供电 能 
力 不 能 满足 负荷 需求 时 ， 根 据 负荷 重要 程度 、 产 生 的 经 济 社会 效益 以 及 历史 电压 负荷 情况 
进行 思 负荷 。 

(3) 对 配 电 网 可 靠 性 和 供电 质量 进行 评价 ， 如 负荷 点 故障 率 、 系 统 平均 停电 频率 、 
系统 平均 停电 时 间 、 电 压 合格 率 、 电 压 波动 与 内 变 、 三 相 不 平衡 度 、 波 形 畸 变 率 、 电 压 偏 
移 、 频 率 偏差 等 。 

(4) 对 配 电 网 经 济 性 进行 评价 ， 如 线 损 率 和 设备 利用 效率 等 。 通 过 计算 风险 指标 ， 
判断 出 所 面临 风险 的 类 型 ， 预 测 从 现在 起 未 来 一 段 时 间 内 配 电 网 所 面临 的 风险 情况 ;根据 
风险 类 型 辨识 结果 ， 生 成 相应 的 预防 控制 方案 ， 供 调度 决策 人 员 参 考 ， 可 以 对 突 发 性 的 风 
险 和 累积 性 风险 进行 准确 辨识 、 定 位 、 类 型 判断 、 生 成 预防 控制 方案 等 ， 依 据 对 多 源 异 构 
的 数据 分 析 ， 将 风险 准确 定位 到 局 部 ， 进 一 步 对 全 网 或 局 部 电网 的 风险 状况 进行 集中 判 
断 、 定 位 以 及 预防 控制 。 


3. 有 源 配 电网 电能 质量 监测 和 评估 


随 着 分 布 式 电源 不 断 地 接 入 配 电网 ， 逐 步 形 成 了 小 、 中 、 大 规模 的 有 源 配 电网 。 伴 随 
着 分 布 式 电源 的 功率 波动 ， 配 电网 中 的 电能 质量 经 受 着 较 大 的 冲击 。 通 过 收集 配 电网 中 的 
运行 数据 、 负 荷 数据 、 分 布 式 电源 运行 等 数据 ， 能 够 开展 配 电网 中 的 电能 质量 分 析 和 评估 
研究 ， 从 而 得 出 精细 化 的 配 电网 网 架 和 无 功 源 的 调节 方案 等 。 有 源 配 电网 电能 质量 监测 和 
评估 示意 图 如 图 9.8 所 示 。 
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图 9.8 ”有 源 配 电网 电能 质量 监测 和 评估 示意 图 

基于 大 数据 的 有 源 配 电网 电能 质量 监测 和 评估 包括 以 下 4 个 方面 。 

1) 有 源 配 电 网 电能 质量 分 析 与 监测 

电网 规模 的 不 断 扩大 以 及 分 布 式 电源 的 不 断 接 入 ， 配 电网 中 运行 数据 、 负 荷 数据 、 分 
布 式 电源 运行 等 数据 逐渐 增多 ， 电 能 质量 分 析 的 大 数据 特征 日 益 明 显 ， 使 得 传统 电能 质量 
分 析 方 法 在 电能 质量 的 消 噪 、 特 征 提取 、 扰 动 分 类 和 参数 估计 等 方面 难以 完全 解决 问题 。 
面 对 出 现 的 电能 质量 问题 ， 近 年 来 产生 了 许多 综合 分 析 法 。 但 是 ， 基 于 传统 电能 质量 分 析 
方法 的 电能 质量 监测 装置 面临 性 能 差 、 精 度 低 、 智 能 化 程度 低 等 问题 ， 需 研究 高 性 能 的 电 
能 质量 分 析 方法 ， 开 发 实时 在 线 的 电能 质量 监测 系统 。 电 能 质量 监测 系统 集 通信 、 测 量 、 
分 析 和 管理 等 诸多 功能 于 一 体 ， 能 为 电力 企业 和 用 户 提供 供电 质量 的 基本 信息 ， 实 现 对 有 
源 配 电 网 电能 质量 全 面 、 准 确 、 有 效 地 监测 。 同 时 考虑 到 经 济 性 ， 有 源 配 电网 中 监测 终端 
的 最 优 布点 也 是 或 须 解决 的 问题 。 

2) 有 源 配 电网 电能 质量 评估 

有 源 配 电网 电能 质量 的 评估 是 对 有 源 配 电网 运行 水 平和 电力 供应 能 力 的 综合 评价 ， 
是 约束 、 督 促 电力 公司 与 电力 用 户 共同 维护 公共 电网 电能 质量 环境 的 基础 ， 同 时 也 是 实施 
质量 治理 与 控制 的 依据 、 检 验 治理 与 控制 效果 的 工具 。 随 着 分 布 式 电源 越 来 越 多 地 接 入 配 
电网 ， 用 户 对 电能 质量 的 要 求 越 来 越 高 ， 传 统 的 电能 质量 评估 方法 面临 计算 性 能 降低 、 耗 
时 长 、 精 度 低 等 问题 ， 如 何 使 电能 质量 的 评估 合理 、 客 观 、 准 确 是 电力 企业 面临 的 严峻 考 
验 。 而 且 ， 大 规模 的 结构 化 数据 和 非 结构 化 数据 的 加 入 ， 将 为 电能 质量 评估 提供 新 的 研究 
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途径 ， 制 定 合理 的 有 源 配 电 网 电能 质量 评估 指标 ， 提 高 电能 质量 评估 的 准确 性 ， 深 度 挖 气 
电能 质量 监测 系统 采集 到 的 数据 信息 ， 揭 示 由 于 之 前 分 析 成 本 太 高 而 忽略 的 信息 ， 为 电力 
企业 以 及 用 户 提供 诸如 网 架 结构 分 析 、 无 功 源 配置 方案 合理 性 分 析 、 敏 感 负荷 安装 位 置 分 
析 、 监 测 点 配置 方案 等 高 附加 值 服 务 ， 这 些 服务 将 有 利于 电网 的 安全 、 稳 定 和 经 济 运 行 。 

3) 有 源 配 电网 电能 质量 诊断 与 治理 

为 了 满足 较 高 电能 质量 的 要 求 ， 及 时 正确 地 对 影响 电能 质量 的 各 种 异常 运行 状态 做 
出 诊断 ， 找 出 电能 质量 干扰 源 进 而 预防 或 消除 ， 从 而 避免 故障 的 扩大 ， 是 有 源 配 电网 面临 
的 又 一 个 难题 。 鉴 于 分 布 式 电源 可 以 看 作 是 一 种 向 配 电 馈 线 注入 谐 波 的 非 线 性 负荷 ， 而 分 
布 式 电源 的 投 切 也 会 引起 电压 波动 ， 分 布 式 电源 的 接 入 无 疑 会 在 一 定 程度 上 加 重 对 电能 质 
量 的 扰动 。 传 统 的 电能 质量 扰动 定位 方法 都 存在 一 定 的 适用 环境 与 限制 条 件 ， 且 仅仅 考虑 
一 种 定位 方法 得 出 的 定位 结果 可 信 度 往往 不 高 。 通 过 将 体 量 更 大 、 类 型 更 多 的 电力 大 数据 
作为 分 析 样本 ， 为 电能 质量 扰动 定位 提供 详细 的 研究 思路 ， 提 高 电能 质量 扰动 定位 的 准确 
性 ， 寻 找 出 网 架 结 构 中 的 薄弱 环节 ， 人 制定 精细 化 的 配 电网 网 架 和 无 功 源 调节 方案 ， 改 善 电 
能 质量 ， 对 电网 的 经 济 运行 具有 重要 意义 。 

4) 基于 配 电网 数据 融合 的 停电 优化 

配 电网 停电 优化 是 建立 在 配 电网 调度 自动 化 系统 、 配 电 自动 化 系统 、 用 电信 息 采 集 系 
统 、 配 网 设备 管理 系统 、 配 电 设 备 检修 管理 系统 、 电 网 图 形 及 地 理 图 形 信息 和 营销 管理 系 
统 等 的 基础 上 ， 综 合 分 析 配 电网 运行 的 实时 信息 、 设 备 检修 信息 等 ， 以 找 出 最 终 的 最 优 停 
电 方案 。 计 划 停 电 管理 根据 计划 停电 《包括 检修 和 限 电 等 ) 的 要 求 ， 进 行 系统 模拟 ， 以 最 
小 的 停电 范围 、 最 短 的 停电 时 间 、 最 小 的 停电 损失 、 最 小 的 停电 用 户 来 确定 停电 设备 ， 通 
过 屏幕 显示 停电 区 域 ， 列 出 停电 的 用 户 名 单 ， 打 印 用 户 停电 通知 书 等 。 采 用 传统 技术 在 处 
理 数据 时 存在 计算 速度 慢 、 计 算 周期 长 、 扩 展 性 差 等 缺点 。 为 了 更 加 准确 地 计算 配 网 停电 
损失 ， 降 低 停电 影响 ， 需 要 利用 多 个 业务 系统 的 海量 数据 进行 联合 分 析 和 数据 挖掘 。 

基于 大 数据 技术 的 配 电网 停电 优化 包括 : 

@ 停电 信息 分 类 ， 基 于 调度 、 营 销 、 配 网 贯通 的 海量 数据 对 停电 信息 数据 进行 整理 

与 分 类 。 
@ 停电 预警 ， 对 设备 故障 可 能 导致 的 停电 进行 预警 。 
@ 配 电网 停电 计划 制定 ， 采 用 大 数据 技术 制定 合理 的 停电 计划 ， 完 善 配 网 停电 优化 
分 析 系 统 。 


9.4.3” 配 电网 多 源 数据 融合 中 的 不 良 数据 辨识 


1. 不 良 数据 的 检测 与 辨识 方法 
不 良 数据 检测 是 指 判 断 某 次 量 测 采 样 中 是 否 存在 不 良 数 据 。 不 良 数据 辨识 是 指 在 发 现 
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某 次 量 测 采 样 中 存在 不 良 数据 后 ， 确 定 哪个 〈 或 哪些 ) 量 测 是 不 良 数据 。 不 良 数据 的 处 理 
已 经 成 为 一 个 热门 课题 ， 目 前 国内 外 已 经 提出 了 多 种 不 良 数据 检测 与 辨识 的 方法 ， 大 致 分 
为 以 下 两 类 : 

(1) 传统 的 不 良 数据 检测 方法 包括 目标 函数 极 值 检测 法 、 加 权 残 差 法 、 检 测 法 或 标 
准 化 残 差 检测 法 、 量 测量 突变 检测 法 等 。 

(2) 传统 的 不 良 数据 辨识 方法 主要 有 残 差 搜索 法 、 非 二 次 准则 法 、 零 残 差 法 、 估 计 
辨识 法 等 。 

相对 传统 的 一 些 新 理论 和 新 方法 主要 有 基于 数据 挖掘 的 模糊 数学 法 、 神 经 网 络 法 、 聚 
类 分 析 法 、 间 隙 统计 法 等 。 这 些 方法 大 多 针对 传统 配 电网 比较 简单 的 小 规模 结构 化 数据 。 随 
着 智能 配 电网 规模 的 不 断 扩大 、 分 布 式 电源 的 接 入 以 及 网 络 技术 在 配 电 系统 中 的 广泛 应 用 ， 
对 于 配 电网 中 达到 大 数据 级 别 的 不 良 数据 的 检测 与 辨识 ， 传 统 方法 很 难 达到 处 理 需 求 。 


2. 基于 多 源 数据 的 不 良 数据 辨识 方法 


根据 配 电网 大 数据 多 源 、 多 渠道 的 特点 ， 可 基于 不 同 来 源 的 数据 进行 互 校 核 ， 实 现 不 
良 数据 的 检测 与 辨识 ， 包 括 电 度量 和 量 测量 的 互 校 核 、 不 同 数据 系统 间 的 互 校 核 方 法 、 不 
同 结构 数据 的 互 校 核 等 ， 如 图 9.9 所 示 。 


不 同 获得 方式 
计算 量 量 测量 
不 同 获得 来 源 一 
EMS、 PMS、 GIS*…: 
TE 
不 同 结构 数据 电 度 是 与 是 沿 是 
结构 化 | 非 结构 化 | 半 结 构 化 | ”| 上 “| ”的 互 校 核 
传统 检测 与 辨识 方法 ,| 不 同系 统 间 
不 良 数据 检测 方法 不 良 数据 辨识 方法 的 吕 梳 红 
目标 函数 极 值 检测 法 残 差 搜索 辨识 法 不 同 结构 数据 
加 权 残 差 检测 法 非 二 次 准则 辨识 法 | “| ”的 互 校 核 
标准 化 残 差 检 测 法 零 残 差 辨识 法 
量 测量 突变 检测 法 估计 辨识 法 
新 理论 与 新 方法 
模糊 数学 法 、 神 经 网 络 法 、 聚 类 分 析 法 、 间 阶 统计 法 等 | | 一 一 


图 9.9 基于 多 源 数 据 融合 的 不 良 数据 辨识 方法 
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1) 基于 电 度量 与 量 测量 互 校 核 的 不 良 数据 检测 方法 

按 获 得 方式 ， 配 电网 多 源 数据 可 划分 为 电 度量 与 量 测 数据 ， 可 采用 电 度量 与 量 测量 互 
校 核 辨识 不 良 数据 。 如 实际 计算 中 ， 可 用 在 同一 节点 下 电 度 量 和 有 功 量 测 进 行 互 校 核 : 

Ps =[(P, +P)/2+é]/(3.6x10) (9-1) 

式 中 : Pw 为 i 时刻 该 节点 的 有 功 电 度 量 ，P;,、P; 为 i-1、i 时 刻 该 节点 的 有 功 功 率 ， 为 
准确 系数 ， 由 实际 量 测 系 统 准确 度 决定 。 

2) 基于 不 同系 统 间 数据 互 校 核 的 不 良 数据 检测 方法 

配 电 网 多 源 数据 按 获 得 来 源 可 分 为 来 自 不 同系 统 的 数据 ， 来 自 不 同系 统 间 的 数据 可 以 
进行 互 校 核 。 例 如 可 结合 配 电网 管理 信息 系统 、 生 产 管理 系统 的 信息 以 及 低压 台 区 互联 
信息 ， 确 定 配 变 用 电 类 型 ， 按 照 不 同行 业 需 量 系数 和 典型 日 负荷 曲线 可 拟 合 出 该 配 变 负 
荷 曲线 。 

3) 基于 不 同 结构 数据 互 校 核 的 不 良 数据 检测 方法 

配 电 网 中 含有 结构 化 数据 、 非 结构 化 数据 、 半 结构 化 数据 ， 但 是 不 同类 型 的 数据 可 能 
包含 相同 的 信息 量 ， 如 某 一 线路 的 长 度 可 由 地 理 信 息 系 统 中 的 非 结 构 化 图 形 数据 获得 ， 也 
可 从 生产 管理 系统 中 的 结构 化 数据 获得 ， 通 过 不 同类 型 的 数据 进行 互 校 核 ， 可 实现 不 良 数 
据 的 辨识 。 

配 电网 中 不 同 的 数据 源 为 配 电网 研究 对 象 提供 了 多 角度 、 多 时 间 、 多 维度 的 数据 描 
述 ， 为 了 通过 大 数据 分 析 充分 挖掘 有 用 信息 ， 需 要 建立 数据 之 间 的 关系 数学 模型 。 


9.4.4 配 电网 大 数据 关联 模型 建 模 


1. 配 电网 数据 特征 化 


配 电 网 中 的 研究 对 象 一 般 使 用 类 进行 描述 ， 这 种 描述 可 以 通过 数据 特征 化 得 到 ， 数 据 
特征 化 是 目标 类 数据 的 一 般 特 性 或 特征 的 汇总 。 特 征 是 一 个 数据 字段 ， 表 示 数 据 对 象 的 一 
个 特征 。 不 同 配 电 网 研究 对 象 有 不 同 的 属性 ， 不 同 的 属性 有 不 同 的 数据 类 型 ， 一 个 属性 的 
类 型 由 该 属性 可 能 具有 的 值 的 集合 决定 。 


2. 配 电 网 数据 邻近 性 模型 


数据 的 相似 性 和 相 异 性 都 称 为 邻近 性 ， 配 电网 数据 邻近 性 模型 具有 广泛 的 应 用 。 例 
如 ， 同 一 个 负荷 可 能 在 不 同 的 应 用 系统 中 有 着 不 同 的 记录 ， 为 了 正确 高 效 地 进行 数据 分 
析 ， 需 要 在 数据 集成 时 将 多 条 记录 合并 为 一 条 记录 ， 因 此 需要 对 多 条 记录 的 邻近 性 进行 计 
算 分 析 。 再 如 ， 需 要 定量 描述 投 运 时 间 对 设备 性 能 的 影响 。 同 时 ， 邻 近 性 模型 还 是 进行 分 
类 、 聚 类 分 析 、 离 群 点 分 析 等 深入 研究 的 数据 基础 。 
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3. 配 电网 数据 关联 模型 


关联 规则 由 Agrawal、Imielinski 和 Swami 提 出 ， 是 数据 中 一 种 简单 但 很 实用 的 规则 。 
配 电 网 故障 、 状 态 与 原因 之 间 存 在 关联 关系 ， 发 现 故 障 属 性 间 的 关联 特性 可 以 更 好 地 对 设 
备 进 行 故障 监测 与 诊断 。 例 如 分 析 配 电网 参数 和 和 暂 态 稳定 性 之 间 的 关联 性 ， 判 断 发 生 故 障 
时 系统 失 稳 的 概率 ; 分析 系统 节点 电压 变化 特性 与 故障 之 间 的 关系 ， 找 出 系统 中 最 为 敏感 
的 节点 ;寻找 特定 地 点 谐 波 电流 与 其 他 地 点 电压 之 间 的 关联 度 ， 确 定 谐 波源 位 置 、 特 征 及 
处 理 方 法 。 也 可 在 电力 营销 和 负荷 管理 中 引入 关联 分 析 ， 以 指导 供电 公司 制定 合理 的 营销 
策略 ， 如 在 配 网 规划 中 分 析 城 市 用 电量 与 GDP 增 长 率 、 第 二 产业 比重 、 中 心性 等 级 、 行 政 
级 别 、 气 候 类 型 等 因素 之 间 的 关联 关系 。 


9.4.5 配 电网 大 数据 分 析 方 法 和 手段 


1. 配 电网 数据 特征 聚 类 


聚 类 可 用 于 将 数据 分 割 成 多 个 类 或 子 集 ， 在 聚 类 分 析 中 类 的 数量 是 未 知 的。 常见 的 聚 
类 方法 有 划分 聚 类 法 、 层 次 聚 类 法 、 网 格 聚 类 法 、 基 于 模型 的 聚 类 法 以 及 智能 聚 类 法 等 。 
根据 不 同 聚 类 方法 的 适用 范围 及 配 电网 大 数据 的 特征 ， 通 过 研究 基于 配 电 网 时 空 特性 的 数 
据 聚 类 方法 能 够 提出 处 理 配 电网 时 空 特性 的 数据 聚 类 解决 方案 。 

从 配 电 网 调度 系统 和 负荷 监测 中 提取 不 同 区 域 、 不 同类 型 的 用 户 负荷 曲线 ， 进 行 负荷 
特性 聚 类 分 析 ， 为 电力 公司 营销 和 负荷 管理 提供 依据 ， 是 近 几 年 电力 系统 聚 类 分 析 的 研究 
热点 。 通 过 对 负荷 曲线 的 聚 类 ， 可 以 作为 负荷 预测 和 电价 预测 的 预 处 理 过 程 ， 通 过 分 析 配 
电网 线路 和 设备 故障 信息 ， 形 成 具有 相似 变化 的 曲线 徐 ， 可 以 更 好 地 估计 和 抑制 故障 带 来 
的 影响 。 


2. 配 电网 数据 特征 分 类 


分 类 是 通过 训练 产生 的 分 类 函数 或 分 类 模型 将 数据 对 象 映射 到 2 个 或 多 个 给 定 类 别 的 
方法 。 从 机 器 学 习 的 观点 ， 分 类 分 析 是 一 种 有 指导 的 学 习 ， 即 其 训练 样本 的 分 类 属性 类 
标号 ) 的 值 是 已 知 的 ， 通 过 学 习 过 程 形成 数据 对 象 与 类 标示 间 对 应 的 知识 ， 这 类 知识 也 可 
称 为 分 类 规则 。 分 类 通过 已 训练 好 的 模型 或 分 类 规则 来 预测 、 标 记 未 知 的 数据 类 。 分 类 方 
法 包括 决策 树 归纳 法 、 天 最 近邻 法 、 向 量 空间 模型 法 、 贝 叶 斯 分 类 法 、 支 持 向 量 机 模糊 分 
类 及 神经 网 络 法 等 。 在 配 电 网 配 电 变 压 器 故障 识别 和 诊断 中 ， 可 以 通过 贝 叶 斯 分 类 方法 将 
变压器 故障 分 类 为 内 部 或 外 部 的 接地 和 短路 故障 ; 也 可 以 用 神经 网 络 来 识别 高 温 、 低 能 和 
高 能 状态 等 故障 类 型 。 
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3. 配 电 网 大 数据 快速 分 析 技术 路 线 


数据 挖掘 技术 的 选择 应 根据 需要 解决 的 业务 问题 来 决定 。 要 解决 一 个 业务 问题 ， 在 一 
个 数据 挖掘 的 完整 流程 中 ， 需 要 同时 利用 多 种 数据 挖掘 方法 。 例 如 在 数据 预 处 理 阶段 ， 可 
以 通过 统计 性 描述 方法 对 数据 的 本 质 、 质 量 进行 探索 和 分 析 ， 利 用 无 量 纲 化 的 模型 对 
数据 进行 标准 化 处 理 ， 也 可 以 用 聚 类 分 析 对 临 群 点 进行 探索 等 。 基 于 配 电网 大 数据 
聚 类 与 分 类 技术 ， 研 究 面向 大 规模 配 电网 大 数据 的 快速 数据 分 析 与 处 理 技术 ， 其 技 
术 路 线 如 图 9.10 所 示 。 


隧 类 方法 “| 一 一 ,1 分 类 方法 

划分 了 类 法 | ; | 配 | | 决策 树 归纳 法 
| 

层次 聚 类 法 | | | 天 最 近邻 法 
| 据 | 

风格 了 类 法 | ; | 类 | | 向量 空间 模型 法 

模型 育 关 法 | ; | 和 | | 风 叶 斯 分 类 法 
| 征 ! 

智能 隧 类 法 | : ;| 神经 网 络 法 

a es Dn 
vy vy 
基于 配 电网 时 空 特 基于 配 电网 时 空 特 
性 的 数据 聚 类 方法 性 的 数据 分 类 方法 


! 


大 规模 有 源 配 电网 大 数据 的 快速 处 理 方法 
图 9.10 配 电网 时 空 特性 的 快速 数据 处 理 方法 


4. 数据 密集 型 计算 手段 


目前 分 布 式 并 行 计算 技术 是 数据 密集 型 计算 的 主要 手段 。 由 于 大 数据 的 数据 量 和 分 布 
式 的 特点 ， 使 得 传统 的 数据 管理 技术 难以 胜任 这 种 海量 数据 。 很 多 企业 开始 想方设法 把 大 
数据 存储 起 来 ， 不 断 地 尝试 新 的 大 数据 存储 架构 、 研 究 大 数据 分 析 方法 技术 。 目 前 ， 在 分 
布 式 并 行 计算 与 存储 的 很 多 研究 和 应 用 中 ，Hadoop 的 分 布 式 并 行 处 理应 用 得 比较 多 ， 比 
如 互联 网 网 页 分 析 和 大 数据 统计 挖掘 等 。 电 力 系统 的 优化 分 析 方 法 大 多 是 计算 任务 /数据 
密集 型 的 ， 所 以 可 依靠 Hadoop 较 容易 地 开展 分 布 式 并 行 方面 的 计算 和 研究 。 基 于 Hadoop 
的 分 布 式 并 行 计 算 技术 在 国内 电力 行业 中 的 应 用 研究 还 处 于 探索 阶段 ， 研 究 内 容 主要 集 
中 在 系统 构想 、 实 现 思路 和 前 景 展望 等 方面 。 在 国外 ， 基 于 Hadoop 的 分 布 式 并 行 计算 应 
用 目前 已 用 于 海量 数据 的 存储 和 简单 处 理 ， 已 有 实现 并 运行 的 实际 系统 。 
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分 布 式 并 行 计 算 技术 能 够 为 大 规模 复杂 配 电网 分 析 计算 提供 强大 的 支撑 ， 并 能 为 供电 
企业 和 用 户 提 供 大 量 的 高 附加 值 服务 ， 这 些 增值 服务 将 有 利于 电网 安全 监测 与 控制 (包括 
故障 预警 与 处 理 、 供 电 与 电力 调度 决策 支持 和 更 准确 的 用 电量 预测 ) 、 客 户 用 电 行 为 分 析 
与 客户 细 分 、 电 力 企业 精细 化 运营 管理 、 更 科学 的 需求 侧 管理 等 。 


9.4.6 智能 配 电网 大 数据 


1. 智能 配 电网 大 数据 现状 


随 着 智能 配 电网 信息 化 、 自 动 化 、 互 动 化 水 平 的 提高 以 及 与 物 联网 的 相互 渗透 与 融 
合 ， 电 力 企 业 量 测 体系 内 部 积累 了 大 量 数据 ， 如 用 户 用 电 数 据 、 调 度 运行 数据 、GIS 数 
据 、 设 备 检测 和 监测 数据 以 及 故障 抢修 数据 等 。 在 量 测 体系 之 外 ， 电 力 企业 还 积累 了 大 量 
运营 数据 ， 如 客户 服务 数据 、 企 业 管理 数据 以 及 电力 市 场 数据 等 。 除 了 电力 企业 内 部 数 
据 ， 还 有 许多 潜在 的 外 部 数据 源 ， 如 互联 网 、 移 动 设备 的 GPS， 以 及 公共 服务 部 门 数据 库 
等 所 能 提供 的 大 数据 可 供 挖掘 与 利用 。 

根据 数据 来 源 的 不 同 ， 可 以 将 智能 配 电网 大 数据 分 为 电力 企业 量 测 数据 、 电 力 企业 运 
营 数据 和 电力 企业 外 部 数据 3 类 ， 如 图 9.11 所 示 。 


公共 服务 部 门 
数据 库 数 据 等 


外 部 数据 


GPS 数据 
调度 运行 数据 


互联 网 数据 
企业 管理 数据 


电力 市 场 数据 等 客户 服务 数据 ”GIS 数 据 用 户 用 电 数 据 等 
图 9.11 智能 配 电 网 大 数据 分 类 
这 3 类 数据 彼此 作用 ， 共 同 服务 于 智能 配 电 网 的 运行 与 发 展 ， 如 人 口 的 大 规模 迁徙 影 
响 用户 用 电量 ， 用 户 用 电 情 况 变化 会 影响 电网 建设 规模 与 运行 方式 ， 而 用 户 用 电 数 据 和 电 
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网 建设 数据 等 可 以 为 电力 企业 制定 合理 的 营销 策略 以 及 公共 服务 部 门 更 新 区 域 能 源 发 展 规 
划 提 供 参考 。 

目前 对 于 智能 配 电 网 数据 的 利用 主要 集中 在 电力 企业 量 测 数据 方面 ， 对 于 3 类 数据 彼 
此 影响 的 研究 还 较 少 ， 即 便 是 对 于 电力 企业 量 测 数 据 ， 其 中 蕴含 的 价值 也 还 远 未 得 到 系 
统 、 深 入 的 开发 与 应 用 。 今 后 分 布 式 电源 的 大 量 引 入 以 及 电动 汽车 的 快速 发 展 ， 必 将 会 为 
智能 配 电网 的 大 数据 资源 池 注 入 更 多 的 数据 流 ， 智 能 配 电网 大 数据 中 潜藏 的 价值 也 将 随 着 
研究 与 利用 的 深入 不 断 涌现 。 


2. 智能 配 电 网 大 数据 的 特征 


来 源 广泛 、 关 系 复杂 、 粒 度 精细 、 结 构 多 样 、 生 成 快速 ， 都 可 以 称 为 智能 配 电网 大 数 
据 的 一 次 特征 ， 而 伴随 一 次 特征 而 来 的 是 体 量 巨 大 、 信 息 丰 富 以 及 处 理 困难 等 二 次 特征 。 
智能 配 电网 大 数据 可 能 来 自 配 电 设备 、 智 能 电表 ， 乃 至 电动 汽车 的 GPS， 不 同 用 电 行 业 、 
不 同 种 类 、 不 同 个 体 的 数据 源 具 有 差异 化 甚至 是 繁杂 的 数据 生产 方式 。 量 测 及 通信 技术 的 
发 展 与 应 用 使 得 大 规模 用 电信 息 的 采集 与 传输 间隔 可 以 达到 分 钟 级 别 ， 更 加 精细 的 数据 为 
用 户 个 性 化 用 电 特 征 的 研究 提供 了 基础 。 随 着 现代 电力 企业 服务 质量 的 提升 ， 包 含 大 量 视 
频 、 语 音 、 图 像 、 文 本 等 非 结 构 化 或 半 结 构 化 类 型 的 数据 ， 如 视频 监控 数据 、 客 户 服务 系 
统 语音 数据 、GIS 数 据 、 网 页 交互 数据 等 开始 大 规模 持续 涌 入 ， 日 益 庞大 且 复 杂 化 的 数据 
集合 令 传统 的 数据 处 理 技术 开始 难以 应 对 ， 因 此 有 必要 寻求 契合 智能 配 电网 数据 特征 的 大 
数据 应 用 技术 。 


3. 智能 配 电 网 大 数据 关系 网 及 价值 链 


1) 大 数据 关系 网 

从 各 种 复杂 系统 中 得 到 的 大 数据 直接 反映 的 往往 是 一 个 个 孤立 的 数据 集 和 分 散 的 链 
接 ， 但 将 这 些 反映 相互 关系 的 链接 整合 起 来 就 是 一 张 网 络 ， 数 据 的 共性 和 网 络 的 整体 特征 
就 隐藏 在 数据 网 络 中 。 大 数据 往往 是 以 复杂 关联 的 数据 网 络 这 样 一 种 独特 形式 存在 的 ， 因 
此 要 理解 大 数据 的 作用 就 要 对 大 数据 后 面 的 网 络 进行 深入 分 析 。 大 数据 面临 的 科学 问题 本 
质 上 可 能 就 是 网 络 科学 问题 ， 一 些 网 络 参数 和 性 质 也 许 能 刻画 大 数据 背后 网 络 的 共性 。 智 
能 配 电网 中 的 部 分 数据 以 及 这 些 数据 之 间 可 能 的 联系 如 图 9.12 所 示 ， 其 中 包含 了 来 自 电力 
企业 、 用 户 以 及 社会 的 诸多 数据 。 这 些 不 同 数据 之 间 彼此 关联 、 交 织 成 网 ， 以 一 种 现 阶段 
看 来 无 比 混杂 并 且 难 以 准确 描述 的 方式 支撑 和 推动 着 配 电 网 的 运行 与 发 展 。 以 配 电网 规划 
为 例 ， 电 网 规划 以 用 电 预 测 和 城镇 规划 等 数据 为 基础 ， 而 经 济 发 展 数据 可 以 借 由 用 电 预 测 
数据 和 城镇 规划 数据 两 条 途径 作用 于 电网 规划 数据 。 与 此 同时 ， 由 电网 问题 造成 停电 的 客 
户 投诉 等 也 可 能 会 对 电网 规划 产生 重要 影响 。 
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图 9.12 ”智能 配 电 网 部 分 数据 关系 网 示意 图 


2) 数据 价值 链 

如 果 将 智能 配 电网 大 数据 及 其 关系 网 视 为 一 个 复杂 系统 ， 并 以 原始 一 次 数据 作为 系统 
输入 ， 以 用 电 预 测 数据 和 电网 规划 数据 等 二 次 数据 作为 中 间 变 量 或 输出 结果 ， 则 该 系统 可 
用 式 (9-2) 进行 描述 。 

P=R(R(R(…,D,), D,),D.) (9-2) 

式 中 : D,，D,，D，，… 表 示 不 同 的 一 次 数据 集 ， 如 经 济 发 展 数据 、 气 象 数 据 等 ，R,， 
R,，Rs，… 表 示 作 用 于 数据 集 上 的 关系 ， 其 输出 为 二 次 数据 集 ， 如 用 电 预 测 数据 等 ，P 表 
示 目 标 数 据 集 。 

显然 ， 目 标 数 据 集 具有 直接 应 用 价值 ， 而 各 一 次 数据 集 是 目标 数据 集 的 价值 来 源 ， 但 
是 由 于 式 (9-2) 中 存在 关系 的 多 重 嵌 套 以 及 数据 的 相互 耦合 ， 且 关系 和 数据 集 本 身 又 存 
在 着 诸多 的 随机 性 及 模糊 性 因素 ， 使 得 隐藏 于 一 次 数据 集 与 目标 数据 集 之 间 的 隐 性 数据 价 
值 链 并 不 明晰 ， 各 阶段 输出 结果 的 有 效 性 亦 无 法 保证 。 而 通过 将 数据 和 关系 进行 解 耦 及 梳 
理 ， 变 隐藏 的 、 间 接 的 关联 为 显 性 的 、 相 对 直接 的 关联 ， 形 成 如 式 〈9-3) 所 示 的 连接 一 
次 输入 与 目标 输出 的 数据 驱动 型 显 性 数据 价值 链 ， 将 有 助 于 简化 整个 智能 配 电网 业务 的 数 
据 流程 ， 提 高 输出 结果 的 准确 性 和 适应 性 。 
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Pe ee 
C=RiR2 ， 
式 中 ，C 为 从 一 次 数据 集 到 目标 数据 集 的 显 性 数据 价值 链 ，R,,，R, ,，……，R, ,为 作 


用 于 一 次 数据 集 D; 上 的 多 重 关系 。 


9.4.7 面向 智能 配 电 网 的 大 数据 应 用 技术 与 理论 框架 


为 将 大 数据 更 好 地 应 用 于 智能 配 电 网 中 ， 在 整合 发 展 各 种 大 数据 理论 的 基础 上 ， 提 出 
了 面向 智能 配 电网 的 “飞机 型 ”大 数据 理论 框架 ， 如 图 9.13 所 示 。 


CEbU 隆 7 
本 矿 
AY 
复杂 系统 ) 芝 9 
大 数据 挖掘 也 关系 网 与 ”> 数据 驱动 


价值 链 。 | 一 > 的 决策 < 


图 9.13 ”大 数据 的 “飞机 型 ”理论 框架 

在 大 数据 的 分 析 利 用 过 程 中 ， 数 据 科学 提供 方法 论 指 导 ， 大 数据 平台 为 其 提供 技术 支 
撑 ， 二 者 组 成 大 数据 理论 框架 的 两 翼 。 大 数据 挖掘 、 关 系 网 与 价值 链 ， 以 及 数据 驱动 的 决 
策 居于 大 数据 的 实际 分 析 与 产 出 环节 ， 共 同 组 成 大 数据 理论 框架 的 主干 。 

数据 科学 是 推动 大 数据 发 展 的 重要 力量 ， 它 有 两 个 主要 内 涵 : 一 是 研究 数据 本 身 的 各 
种 类 型 、 状 态 、 属 性 及 变化 形式 和 变化 规律 ， 二 是 为 科学 研究 提供 一 种 数据 方法 ， 以 揭示 
自然 界 和 人 类 行为 现象 的 规律 。 从 数据 科学 的 角度 ， 可 以 利用 随机 和 矩阵 理论 对 大 数据 进行 
建 模 ， 或 将 大 数据 等 效 为 一 个 复杂 系统 并 运用 复杂 系统 理论 对 其 展开 研究 ， 以 发 现 其 中 隐 
藏 的 规律 并 指导 大 数据 应 用 。 

融合 了 流 计 算 和 云 计 算 等 多 种 技术 的 大 数据 平台 作为 支撑 大 数据 发 展 的 另 一 个 重要 动 
力 来 源 ， 其 研究 重点 在 于 推动 数据 存储 及 处 理 技术 的 进步 ， 并 为 大 数据 应 用 提供 更 为 高 效 
和 完善 的 分 析 处 理工 具 。 若 将 各 种 大 数据 应 用 比 作 一 辆 辆 “汽车 ”， 则 支撑 这 些 汽车 运行 
的 高 速 公路 就 是 大 数据 平台 。 

在 数据 分 析 阶 段 ， 大 数据 挖掘 技术 负责 从 大 规模 的 数据 流 或 数据 集合 中 挖掘 出 数据 
间 的 隐藏 关系 与 价值 链条 ， 并 相应 地 绘制 出 较为 精确 的 数据 关系 强度 网 络 及 价值 分 布 图 。 
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关系 网 和 价值 链 处 于 理论 框架 的 核心 地 位 。 智 能 配 电 网 中 的 大 数据 往往 直接 表现 为 一 个 个 
孤立 的 数据 集 和 数据 集 之 间 分 散 的 链接 ， 只 有 将 这 些 反映 相互 关系 的 链接 整合 起 来 才能 得 
到 一 个 充满 着 数据 流 、 能 量 流 以 及 价值 流 的 关系 网 络 。 数 据 驱动 的 决策 是 应 用 结果 产 出 阶 
段 。 大 数据 关系 网 与 价值 链 的 分 析 结果 可 以 为 数据 驱动 的 决策 提供 依据 。 根 据 大 数据 作用 
程度 的 不 同 ， 数 据 驱动 的 决策 分 为 3 类 ， 分 别 对 应 “飞机 型 ”理论 框架 中 起 调节 作用 的 3 个 
尾 细 ， 这 代表 大 数据 理论 是 以 实际 应 用 为 导向 的 。 

总 体 而 言 ， 流 计算 和 云 计 算 等 数据 处 理 技术 为 大 数据 挖掘 提供 平台 及 技术 支持 ， 复 杂 
系统 理论 和 随机 和 矩阵 理论 等 为 其 提供 理论 指导 。 在 整个 过 程 中 ， 信 息 共享 不 仅 是 每 个 阶段 
顺利 进行 的 保证 ， 同 样 是 智能 配 电网 大 数据 处 理 的 目的 。 智 能 配 电网 大 数据 不 仅 指数 据 本 
身 ， 更 涵盖 相应 的 理论 与 技术 体系 ， 它 与 大 数据 处 理 技术 以 及 数据 科学 等 互 不 统 属 ， 而 是 
体现 于 “飞机 型 ”理论 框架 的 各 模块 之 中 。 


9.4.8 ”大 数据 在 智能 配 电网 中 的 应 用 前 景 


大 数据 在 智能 配 电网 中 具有 广阔 的 应 用 前 景 。 本 节 侧重 于 从 用 电 预 测 与 协同 调度 、 智 
能 配 电网 网 架 发 展 趋势 分 析 与 优化 规划 ， 以 及 智能 用 电 与 网 络 降 损 这 3 个 方面 进行 分 析 。 

1. 用 电 预 测 与 协同 调度 

精准 的 用 电 预 测 结果 对 于 智能 配 电网 的 规划 和 运行 具有 积极 意义 。 通 过 对 用 户 的 用 电 
行为 特征 进行 分 析 并 建立 基于 大 数据 的 自 适 应 用 电 预 测 模型 ， 有 可 能 得 到 更 高 精度 、 更 细 
粒度 的 预测 结果 ， 这 也 有 利于 电源 与 负荷 协同 调度 的 实现 。 

1) 用 电量 宏观 变化 趋势 预测 

通过 分 析 用 户 用 电 数 据 与 其 他 数据 之 间 的 因果 关系 和 相关 关系 ， 对 用 电量 变化 趋势 进 
行 预测 。 例 如 研究 节假日 人 口 迁 徙 轨迹 及 特征 、 雾 多 等 恶劣 天 气 发 生 频 度 ， 以 及 宏观 经 济 
指标 等 数据 与 用 户 用 电量 之 间 的 关系 ， 并 将 这 些 抽象 关系 进行 量化 表征 ， 最 终 利用 基于 关 
系 的 自 适应 用 电 预 测 模型 实现 对 用 电量 宏观 变化 趋势 的 整体 把 握 与 感知 。 

2) 局 部 用 电量 精细 化 预测 

对 于 局 部 空间 或 部 分 逻辑 分 类 中 不 同 的 用 户 个 体 或 用 户 群 组 ， 采 用 差异 化 的 建 模 方 
法 ， 建 立 有 较 强 针对 性 的 用 电 预 测 模型 库 ， 将 用 户 用 电 特 性 进行 多 维度 分 解 。 对 于 不 同 用 
户 在 不 同 维度 下 采用 不 同 模型 进行 精细 化 预测 ， 提 高 用 电 预 测 的 精度 。 

3) 电源 与 负荷 协同 调度 

基于 分 布 式 电源 发 电 及 用 户 用 电 预 测 结果 ， 通 过 配 电网 错 峰 资源 聚 类 分 析 和 错 峰 影响 
要 素 关 联 度 分 析 ， 量 化 评估 可 调度 资源 错 峰 潜力 ， 探 究 不 同类 型 电源 和 负荷 的 优化 组 合 原 
则 及 方法 ， 实 现 错 峰 资源 的 分 层 优化 及 自动 分 配 ， 完 成 电源 与 负荷 的 协同 调度 。 
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2. 网 架 发 展 趋势 分 析 与 优化 规划 


在 传统 的 配 电网 网 架 规划 中 ， 由 于 数据 源 或 数据 分 析 不 足 ， 网 架 优 化 面临 许多 的 不 
确定 性 ， 理 论 上 优化 的 结果 往往 与 实际 之 间 存在 较 大 差异 。 在 大 数据 环境 下 ， 海 量 、 多 类 
型 、 时 变 基 础 数据 的 引入 ， 可 以 减少 网 架 优化 的 不 确定 性 。 但 是 模型 中 对 应 边界 条 件 以 及 
参数 的 变化 ， 可 能 使 优化 陷入 组 合 爆炸 的 泥潭 ， 造 成 优化 速度 缓慢 或 求解 困难 ， 这 就 需要 
对 传统 的 优化 方法 进行 改进 。 

1) 城市 电网 网 架 发 展 趋势 分 析 

在 时 空 四 维 空间 中 ， 智 能 配 电网 并 非 是 静止 和 孤立 的 ， 相 反 ， 其 发 展 趋势 具有 高 度 复杂 
的 动态 性 和 关联 性 ， 随 着 中 国 城市 化 进程 的 加 速 ， 这 些 特性 将 更 为 明显 。 结 合 对 现 有 网 架 的 
态势 感知 ， 将 用 电 预 测 结果 、 城 市 综合 体 发 展 趋势 以 及 用 户 用 电 行 为 特征 等 与 网 架 结构 数据 
结合 起 来 开展 并 行 聚 类 与 关联 分 析 ， 可 以 获得 更 准确 的 网 架 扩展 趋势 分 析 的 可 视 化 结果 。 

2) 面向 用 户 需求 的 网 架 规 划 

在 传统 的 配 电 网 网 架 规 划 中 ， 多 以 电网 供电 可 靠 性 或 建设 及 运行 的 经 济 性 作为 优化 目 
标 ， 对 于 用 户 的 特定 需求 考虑 较 少 。 在 大 数据 环境 下 ， 面 对 用 户 差 异化 的 需求 开展 聚 类 分 
析 ， 并 以 用 户 需 求 作为 主要 优化 目标 进行 电网 规划 ， 有 利于 提高 供电 企业 的 服务 水 平和 用 
户 满意 度 。 

3) 数据 驱动 的 网 架 优化 规划 

数据 驱动 的 网 架 优化 规划 是 ， 考 虑 分 布 式 电源 和 电动 汽车 接 入 以 及 利用 基于 大 数据 的 
用 电 预 测 和 用 户 用 电 特 征 挖掘 等 多 方面 信息 ， 通 过 面向 网 架 结构 的 数据 聚 类 和 关联 分 析 ， 
构建 分 层 分 类 数据 关联 模型 ， 生 成 基于 数据 关联 模型 的 可 行 网 架 方案 集 ， 并 在 此 基础 上 研 
究 网 架 的 快速 优化 算法 ， 提 高 网 架 优化 效率 。 


3. 智能 用 电 与 网 络 降 损 


不 同 用 户 的 负荷 特性 、 用 电 理 念 和 节 电 策略 之 间 存 在 较 大 差异 ， 这 导致 了 用 户 用 电 
行为 模式 的 多 样 性 ， 分 布 式 电源 以 及 电动 汽车 等 新 型 设备 的 接 入 也 将 加 速 这 种 多 样 性 的 发 
展 。 了 解 用 电 行 为 模式 的 多 样 性 有 助 于 从 用 户 的 角度 为 其 量 身 定制 经 济 合理 的 用 电 方案 。 
此 外 ， 电 能 在 分 配 和 使 用 过 程 中 其 损耗 呈现 明显 的 时 空 分 布 特性 ， 可 以 借助 智能 配 电网 大 
数据 分 析 结 果 获 得 精确 感知 。 

1) 个 性 化 用 电 方案 定制 

个 性 化 用 电 方案 定制 的 步骤 是 ， 通 过 对 电价 和 用 户 用 电 行 为 模式 等 数据 进行 关联 分 
析 ， 获 取 用 户 对 于 电价 等 激励 机 制 的 敏感 度 ， 在 同时 考虑 分 布 式 电源 接 入 及 运行 策略 对 用 
户 用 电 行 为 方式 影响 的 条 件 下 ， 建 立 包含 分 布 式 发 电 与 用 户 用 电 峰 谷 分 时 电价 在 内 的 联合 
优化 模型 。 在 此 模型 基础 上 ， 结 合用 户 能 效 水 平和 用 电 行 为 特征 等 数据 为 用 户 定制 智能 化 
用 电 方案 ， 挖 掘 节 电 潜力 ， 降 低 用 户 购 电 成 本 ， 提 高 配 电 网 削 峰 填 谷 的 能 力 。 
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2) 电动 出 租 汽车 与 配 电网 联合 运行 

电动 出 租 汽车 与 配 电网 联合 运行 指 ， 结 合 电动 出 租 汽车 GPS 和 电池 电量 数据 、 乘 客 手 
机 GPS 和 历史 搜索 数据 、 道 路 拥堵 数据 、 配 电网 运行 数据 以 及 充电 站 分 布 数据 等 ， 对 乘客 
用 车 行为 进行 预测 ， 并 为 出 租车 制定 行车 路 线 和 充 放 电 规 划 等 运行 方案 ， 同 时 有 配合 地 开 
展 智能 配 电网 调度 ， 实 现 出 租车 和 配 电网 的 信息 实时 共享 以 及 电能 的 “ 线 上 ”与 “路 上 ” 
联合 传输 。 

3) 挖掘 用 户 用 电 行 为 模式 和 网 架 结构 的 网 络 降 损 

挖掘 用 户 用 电 行 为 模式 和 网 架 结 构 等 多 种 因素 与 配 电网 线 损 之 间 的 关联 关系 ， 并 对 线 
路 损耗 的 时 空 分 布 特性 进行 可 视 化 展示 ， 以 便 精确 识别 高 损耗 线路 及 区 域 。 建 立 网 络 损耗 
数据 关联 模型 ， 用 于 指导 用 户 用 电 、 调 整 电网 运行 方式 和 发 电 侧 的 发 电 计 划 ， 从 而 有 效 降 
低 配 电网 运行 成 本 ， 提 高 配 电网 资产 利用 率 。 


9.4.9 大 数据 在 智能 配 电 网 中 的 应 用 路 线 图 


结合 上 述 研究 内 容 ， 从 数据 抽取 与 清洗 、 数 据 存储 与 管理 、 数 据 解析 以 及 数据 应 用 这 
4 个 角度 出 发 ， 提 出 如 图 9.14 所 示 的 大 数据 在 智能 配 电网 中 的 应 用 路 线 图 。 
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图 9.14 ”大 数据 在 智能 配 电网 中 的 应 用 路 线 
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大 数据 应 用 的 目标 不 是 为 了 获取 更 多 的 数据 ， 而 是 从 数据 中 挖掘 出 更 大 的 价值 。 通 过 
开展 大 数据 在 智能 配 电 网 中 的 应 用 研究 ， 可 以 实现 数据 资产 的 保值 与 增值 ， 有 效 提升 智能 
配 电 网 的 运行 水 平 与 服务 水 平 。 


9.5 ”电力 大 数据 与 挖掘 技术 


数据 挖掘 指 在 不 同 的 数据 源 中 〈 包 括 结构 化 的 数据 、 半 结构 化 的 数据 和 非 结构 化 的 数 
据 ， 即 既 可 以 是 数据 库 ， 也 可 以 是 文件 系统 ， 或 其 他 任何 组 织 在 一 起 的 数据 集合 ) ， 通 过 
一 定 的 工具 与 方法 寻找 出 有 价值 的 知识 的 一 类 深层 次 的 数据 分 析 方法 。 

大 数据 作为 一 种 重要 的 战略 资源 ， 如 何 发 挥 大 数据 的 战略 意义 显得 十 分 重要 。 数 据 挖 
掘 的 目的 是 挖掘 隐藏 在 数据 中 的 对 人 们 有 效 的 信息 。 通 过 数据 挖掘 ， 我 们 才能 得 到 大 量 数 
据 集中 所 蕴含 的 信息 。 这 些 信息 可 以 创造 价值 ， 并 对 人 们 的 多 个 领域 产生 深远 影响 。 数 据 
挖掘 是 一 种 基于 数据 库 、 模 式 识别 、 机 器 学 习 、 人 工 智能 、 统 计 学 、 可 视 化 技术 的 决策 支 
持 模 式 。 数 据 挖 掘 可 以 分 析 数 据 、 归 纳 数据 ， 从 数据 中 挖 出 对 人 们 有 用 的 信息 ， 帮 助人 们 
做 出 正确 的 决策 ， 减 少 风险 。 

数据 挖掘 又 被 称 作 基于 数据 库 的 知识 发 现 ， 是 数据 库 技术 和 人 工 智能 领域 的 重要 应 
用 ， 也 是 重要 的 研究 热点 。 数 据 挖掘 发 现 的 知识 可 以 用 作 商 业 决 策 支持 、 信 息 管 理 、 工 业 
过 程控 制 和 查询 优化 等 ， 更 可 以 用 作 数 据 自身 的 维护 。 数 据 挖掘 将 以 前 低层 次 的 简单 数据 
查询 提升 到 挖掘 数据 间 的 隐藏 信息 ， 并 将 之 用 于 各 个 领域 中 。 

基于 大 数据 的 数据 挖掘 技术 是 在 大 数据 提出 之 后 才 开始 引起 人 们 关注 的 ， 大 数据 引 
起 的 信息 技术 革命 不 仅 在 于 数据 量 的 庞大 上 ， 也 在 于 这 些 庞大 的 数据 中 隐藏 了 相对 于 过 去 
更 加 复杂 的 、 更 加 有 用 的 信息 。 过 去 的 数据 量 比较 小 ， 经 过 这 么 多 年 的 积累 ， 数 据 量 开 
始 庞 大 起 来 ， 数 据 类 型 开始 复杂 起 来 ， 若 想 使 用 这 些 庞 大 的 、 复 杂 的 数据 中 的 信息 ， 数 
据 挖掘 技术 必须 解决 因数 据 量 庞大 、 数 据 类 型 复杂 所 带 来 的 问题 。 因 此 ， 数 据 挖掘 技术 
必须 加 以 改进 ， 只 有 改进 后 的 数据 挖掘 技术 才能 有 效 挖掘 出 对 人 们 有 用 的 知识 。 若 还 用 
以 前 的 数据 挖掘 技术 来 挖掘 当前 的 大 数据 ， 即 使 可 以 挖掘 出 来 ， 需 要 花费 的 时 间 以 及 占 
用 的 各 种 资源 也 会 使 得 这 项 工作 毫 无 意义 。 所 以 ， 基 于 大 数据 的 数据 挖掘 是 一 种 更 加 新 式 
的 、 更 加 先进 的 、 更 加 复杂 的 数据 挖掘 技术 。 与 传统 的 数据 挖掘 技术 相对 比 ， 其 对 象 数据 
不 再 是 简单 的 结构 化 数据 ， 而 是 一 种 复杂 的 非 结 构 化 或 半 结 构 化 数据 ， 而 对 象 数据 的 改变 
也 使 得 许多 数据 挖掘 技术 已 无 用 武之 地 ， 因 此 ， 基 于 大 数据 的 数据 挖掘 技术 应 是 未 来 几 年 
发 展 的 重 中 之 重 。 

数据 挖掘 作为 一 种 比较 成 熟 的 数据 处 理 技术 ， 主 要 是 对 数据 中 的 数据 进行 抽取 、 转 
换 、 分 析 和 建 模 处 理 ， 从 中 提取 出 对 人 们 有 用 的 关键 信息 。 数 据 挖 掘 与 传统 的 数据 分 析 有 
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很 大 的 不 同 ， 数 据 挖掘 是 在 未 知 的 前 提 下 去 挖掘 信息 、 发 现 知识 的 ， 可 实用 、 有 效 和 未 知 
是 数据 挖掘 的 三 大 基本 特征 。 目 前 比较 常用 的 、 成 熟 的 挖掘 方法 主要 有 神经 网 络 、 遗 传 算 
法 、 决 策 树 方法 、 关 联 规则 和 粗糙 集 等 。 


9.5.1 神经 网 络 


1. 人 工 神经 网 络 基本 介绍 


在 许多 数据 挖掘 和 决策 支持 应 用 中 ， 由 于 有 公认 的 轨迹 记录 ， 人 工 神 经 网 络 已 经 成 
为 一 种 普遍 采用 的 方法 。 神 经 网 络 是 一 种 可 以 容易 地 应 用 于 预测 、 分 类 和 聚 类 的 强 有 力 工 
具 。 最 有 力 的 神经 网 络 是 生物 所 具有 的 神经 网 络 ， 与 此 相对 应 的 是 ， 计 算 机 通常 善于 反复 
地 执行 明确 的 指令 。 通 过 在 计算 机 上 模拟 人 脑 的 神经 联系 ， 桥 接 计 算 机 与 人 脑 的 隔 头 ， 是 
实现 人 工 神经 网 络 的 关键 。 神 经 网 络 从 数据 中 概括 和 学 习 的 能 力 ， 是 模仿 我 们 从 经 验 中 学 
习 的 能 力 ， 这 种 能 力 对 数据 挖掘 是 有 用 的 。 

以 某 个 IRIS 对 3 种 植物 的 分 类 案例 为 例 ， 神 经 网 络 有 能 力 通过 对 已 知 的 样本 参数 学 习 
后 ， 实 现 对 3 种 植物 的 分 类 。 

由 图 9.15 可 见 ， 神 经 网 络 就 像 一 个 知道 如 何 处 理 输入 以 产生 输出 的 黑匣子 ， 计 算 相 当 
的 复杂 且 难 以 理解 ， 却 往往 给 出 有 用 的 结论 。 人 工 神 经 网 络 属于 人 工 智 能 中 的 机 器 学 习 
J， 它 类 似 于 人 类 大 脑 重复 学 习 的 方法 ， 先 给 出 一 系列 的 样本 ， 进 行 学 习 和 训练 ， 从 而 产 
生 用 于 区 别 各 种 样本 的 不 同 特征 和 模式 。 该 算法 的 优点 是 对 复杂 问题 能 进行 很 好 的 预测 ， 
对 噪声 数据 的 承受 能 力 比 较 高 ， 以 及 对 未 经 训练 的 数据 分 类 模式 的 处 理 能 力 。 因 此 人 工 神 
经 网 络 主要 被 应 用 于 数据 挖掘 领域 中 的 提取 分 类 规则 以 及 预测 。 


花 泊 长 宽 神经 网 络 模型 
花 苯 长 宽 
输入 


图 9.15 神经 网 络 模型 
用 人 工 的 方法 模拟 产生 一 个 生物 神经 元 的 数学 模型 ， 这 是 一 个 由 多 输入 、 单 输出 的 非 
线性 元 件 表达 。 单 个 神经 元 是 前 向 型 的 ， 将 人 工 神经 元 的 基本 模型 和 激励 函数 合 在 一 起 构 
成 的 人 工 神经 元 ， 就 是 著名 的 MecCulloch-Pitts 模 型 ， 简 称 为 MP 模型 。 这 种 模型 是 对 生物 神 
经 元 的 抽象 、 模 拟 与 简化 。 图 9.16 就 是 一 个 典型 的 MP 人 工 神经 元 模型 。 
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图 9.16 ”典型 MP 人 工 神经 元 模型 
MP 模型 属于 一 种 闵 值 元 件 模 型 ， 它 是 由 美国 Mc Culloch 和 Pitts 提 出 的 最 早 神经 元 模型 
之 一 。MP 模 型 是 大 多 数 神经 网 络 模型 的 基础 。 该 人 工 神经 元 具有 许多 的 输入 信号 ， 针 对 
每 个 输入 都 有 一 个 加 权 系数 w 称 为 权 值 (Weights) ， 权 值 的 正 负 模拟 了 生物 神经 元 中 突 触 
的 兴奋 和 抑制 ， 其 大 小 则 代表 了 突 触 的 不 同 连接 强度 。 而 中 间 的 神经 元 对 所 有 的 输入 信号 
进行 计算 处 理 ， 然 后 将 结果 输出 。 在 神经 元 中 ， 对 信号 进行 处 理 采 用 的 是 数学 函数 ， 通 常 
称 为 激活 函数 、 激 励 函 数 或 挤 压 函 数 。 其 输入 、 输 出 关系 可 描述 为 : 


uj =/ (Ss -0 
y=f(u,) 

式 中 总 (1，2，…，1m1) 从 其 他 神经 元 传 来 的 输入 信号 ; 2 是 该 神经 元 的 阔 值 ; 
Wj 表示 从 神经 元 i 到 神经 元 /的 连接 权 值 ， 为 激活 函数 或 挤 压 函数 。 由 于 神经 元 采用 了 
不 同 的 激活 函数 ， 使 得 神经 元 具有 不 同 的 信息 处 理 特性 ， 而 神经 元 的 信息 处 理 特性 是 决 
定神 经 网 络 整体 性 能 的 主要 因素 之 一 ， 因 此 激活 函数 具有 重要 的 意义 。 


2. 设计 神经 网 络 结构 


前 馈 神 经 网 络 的 结构 设计 主要 包括 输入 层 和 输出 层 节点 数 的 选择 、 网 络 隐 层 数 的 选择 
以 及 每 个 隐 层 节点 数 的 选择 3 个 方面 。 其 中 ， 输 入 层 和 输出 层 节 点 数 的 确定 一 般 由 实际 应 
用 的 训练 样本 所 决定 。 输 入 节点 数 一 般 等 于 待 训练 样本 的 矢量 维 数 ， 即 样本 数据 的 特征 维 
数 ， 输 出 层 单元 数 在 分 类 网 络 中 取 类 别 数 m。 或 log?， 其 中 m 为 待 分 类 的 类 别 数 ， 在 逼近 网 
络 中 取 要 逼 近 的 函数 输出 空间 维 数 。 因 此 ， 前 馈 神 经 网 络 的 结构 设计 ， 在 BP 神 经 网 络 中 
主要 是 解决 网 络 隐 层 数 以 及 每 个 隐 层 节点 数 的 选择 问题 ; 在 RBF 网 络 设计 中 ， 就 是 隐 层 节 
点 数 多 少 的 问题 。 

1) 隐 层 数 的 设计 

理论 上 已 经 证 明 : 一 个 3 层 BP 神 经 网 络 ， 含 一 个 隐 层 ， 只 要 隐 层 节点 数 足够 多 ， 就 能 
以 任意 精度 逼近 有 界 区 域 上 的 任意 连续 函数 ， 而 RBF 网 络 则 隐 层 必 为 一 ， 也 可 以 是 任意 精 
度 逼 近 有 界 区 域 上 的 任意 连续 函数 。 这 就 给 我 们 确定 了 设计 前 馈 网 络 结构 的 基本 原则 。 虽 
然 增 加 隐 层 层 数 能 降低 网 络 训练 误差 ， 提 高 精度 ， 但 同时 也 使 网 络 更 加 复杂 ， 增 加 了 网 络 
权 值 的 训练 时 间 。 因 此 ， 在 设计 网 络 结构 时 ， 一 般 先 考虑 设 一 个 隐 层 BP 或 者 RBF 网 络 。 当 
一 个 隐 层 的 隐 节 点 数 已 经 很 多 ， 却 依然 不 能 降低 网 络 训练 误差 时 ， 才 考虑 使 用 增加 一 个 隐 
层 的 BP 神 经 网 络 。 


(9-4) 
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2) 隐 层 节点 数 的 设计 
隐 节 点 的 作用 是 从 样本 中 挖 据 内 在 规律 ， 并 将 知识 信息 存储 在 隐 节 点 的 连接 权重 中 。 
若 隐 节 点 数量 太 少 ， 网 络 从 样本 中 获取 知识 的 能 力 就 差 ， 不 足以 概括 和 体现 训练 集中 的 样 
本 规律 ， 反 之， 又 可 能 把 样本 中 的 噪音 数据 也 学 会 并 记 牢 ， 从 而 出 现 所 谓 “ 过 度 拟 和 ” 问 
题 。 此 外 ， 过 多 的 隐 节 点 会 增 大 网 络 训练 学 习 的 负担 。 设 置 多 少 个 隐 节 点 取决 于 训练 样本 
数 、 样 本 噪音 的 大 小 以 及 样本 中 苍 合 规律 的 复杂 程度 。 
对 于 “最 好 的 ” 隐 层 节点 数 ， 没 有 明确 的 规则 。 在 这 个 问题 上， 因为 网 络 结构 的 不 同 
会 直接 影响 网 络 的 准确 性 ， 所 以 最 佳 解决 办 法 就 是 根据 实验 得 出 的 经 验 来 设计 。 目 前 确定 
最 佳 隐 节 点 的 常用 方法 是 在 已 有 的 经 验 公式 基础 上 进行 试 趴 ， 经 验 公 趟 如 下 ， 
h=Vntm+a (9-5) 
式 中 ,A 为 隐 合 层 节点 数目 ，m 为 输入 层 节点 数目 ，” 为 输出 层 节点 数目 ，a 为 1~10 之 
间 的 调节 常数 。 
("> (9-6) 
n=log’ (9-7) 
式 中 /为 样本 孝 ，m 为 陷 节 点 数 ， x 为 输入 层 单元 数 ，7>m 时 ， 取 [”]=0. 
利用 上 述 公式 ， 我 们 可 以 先 设置 较 少 的 隐 层 网 络 节点 数 ， 然 后 逐渐 增加 节点 ， 对 于 同 
样 的 样本 集 ， 通 过 结果 比 对 而 产生 最 佳 的 隐 层 网 络 节点 数 。 


3. 概率 式 学 习 
这 种 网 络 基于 统计 力学 、 分 子 热力 学 和 概率 论 中 关于 系统 稳 态 的 能 量 标准 进行 学 习 ， 
称 为 概率 式 学 习 。 这 种 网 络 的 典型 代表 是 Boltzmann 机 学 习 规 则 ， 学 习 过 程 是 根据 神经 
元 i 和 j 在 不 同 状态 时 实现 的 联结 概率 来 调整 连接 权重 。 
AW, =n(p; — Pp;) (9-8) 


公式 中 ， 为 学 习 率 ，P; 和 pi 分别 是 神经 元 i 和 ;在 输入 输出 固定 形态 及 系统 为 自由 状 
态 时 实现 联结 的 概率 ， 其 调整 的 原则 是 : 当 P; > p; 时 ， 增 加 权重 ， 否 则 减 小 权重 。 


4. 神经 网 络 方法 的 优 缺 点 


神经 网 络 具 有 良好 的 健壮 性 、 自 组 织 自 适 应 性 、 并 行 处 理 、 分 布 存储 和 高 度 容错 等 特 
性 ， 非 常 适合 解决 数据 挖掘 的 问题 ， 用 于 分 类 、 预 测 和 模式 识别 的 前 馈 式 神经 网 络 模型 ; 
以 Hopfield 的 离散 模型 和 连续 模型 为 代表 的 ， 分 别 用 于 联想 记忆 和 优化 计算 的 反馈 式 神经 
网 络 模型 ， 以 Art 模 型 、Koholon 模 型 为 代表 的 ， 用 于 聚 类 的 自 组 织 映 射 方法 。 神 经 网 络 的 
缺点 是 “黑箱 性 ”， 人 们 难以 理解 网 络 的 学 习 和 决策 过 程 。 
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9.5.2 ”遗传 算法 


遗传 算法 是 由 美国 Michigan 大 学 的 Holland 教 授 于 1969 年 提出 ， 后 经 DeJong、 
Goldberg 等 人 归纳 总 结 所 形成 的 一 类 模拟 进化 算法 。 它 来 源 于 达尔 文 的 进化 论 、 魏 茨 曼 
的 物种 选择 学 说 和 备 德 尔 的 群体 遗传 学 说 。 遗 传 算法 是 模拟 自然 界 生 物 进 化 过 程 与 机 制 
求解 极 值 问题 的 一 类 自 组 织 、 自 适应 人 工 智能 技术 。 其 基本 思想 是 模拟 自然 界 遗传 机 制 
和 生物 进化 论 而 形成 的 一 种 过 程 搜索 最 优 解 的 算法 ， 具 有 坚实 的 生物 学 基础 。 它 提供 从 
智能 生成 过 程 观点 对 生物 智能 的 模拟 ， 具 有 鲜明 的 认 知 学 意义 。 它 适合 于 无 表达 或 有 表 
达 的 任何 类 函数 ， 具 有 可 实现 的 并 行 计算 行为 ， 它 能 解决 任何 种 类 实际 问题 ， 具 有 广泛 
的 应 用 价值 。 因 此 ， 遗 传 算法 广泛 应 用 于 自动 控制 、 计 算 科 学 、 模 式 识别 、 工 程 设计 、 
智能 故障 诊断 、 管 理科 学 和 社会 科学 等 领域 ， 适 用 于 解决 复杂 的 非 线 性 和 多 维 空间 寻 优 
问题 。 虽 然 遗传 算法 在 许多 领域 中 都 有 成 功 的 应 用 ， 但 其 自身 也 存在 不 足 ， 如 局 部 搜索 
能 力 差 、 存 在 未 成 熟 收 敛 和 随机 游 走 等 现象 ， 导 致 算法 的 收敛 性 能 差 ， 需 要 很 长 时 间 才 
能 找到 最 优 解 等 问题 。 这 些 不 足 阻 碍 了 遗传 算法 的 推广 应 用 。 如 何 改 善 遗 传 算法 的 搜索 
能 力 和 提高 算法 的 收敛 速度 ， 使 其 更 好 地 应 用 于 实际 问题 的 解决 中 ， 是 各 国 研究 者 一 直 
探索 的 主要 课题 。 


1. 遗传 算法 的 特点 


遗传 算法 是 一 种 基于 自然 群体 遗传 演化 机 制 的 高 效 探索 算法 。 它 具有 以 下 特点 。 

(1) 遗传 算法 从 问题 解 的 中 集 开始 搜索 ， 而 不 是 从 单个 解 开 始 。 

这 是 遗传 算法 与 传统 优化 算法 的 极 大 区 别 。 传 统 优化 算法 是 从 单个 初始 值 迭 代 求 
最 优 解 的 ， 容 易 误 入 局 部 最 优 解 。 遗 传 算法 从 串 集 开始 搜索 ,覆盖面 大 ， 利 于 全 局 
择优 。 

(2) 遗传 算法 求解 时 使 用 特定 问题 的 信息 极 少 ， 容 易 形成 通用 算法 程序 。 由 于 遗传 
算法 使 用 适应 值 这 一 信息 进行 搜索 ， 并 不 需要 问题 导数 等 与 问题 直接 相关 的 信息 。 遗 传 算 
法 只 需 适 应 值 和 串 编码 等 通用 信息 ， 故 几乎 可 处 理 任何 问题 。 

(3) 遗传 算法 有 极 强 的 容错 能 力 。 遗 传 算法 的 初始 串 集 本 身 就 带 有 大 量 与 最 优 解 
相去 甚 远 的 信息 ， 通 过 选择 、 交 又 、 变 异 操作 能 迅速 排除 与 最 优 解 相 差 极 大 的 串 ， 
这 是 一 个 强烈 的 滤波 过 程 ， 并 且 是 一 个 并 行 滤波 机 制 。 故 而 ， 遗 传 算法 有 很 高 的 容错 
能 力 。 

(4) 遗传 算法 中 的 选择 、 交 叉 和 变异 都 是 随机 操作 ， 而 不 是 确定 的 精确 规则 。 这 说 
明 遗 传 算法 是 采用 随机 方法 进行 最 优 解 搜索 的 ， 选 择 体现 了 向 最 优 解 迫近 ， 交 又 体 现 了 最 
优 解 的 产生 ， 变 异体 现 了 全 局 最 优 解 的 覆盖 。 

(5) 遗传 算法 具有 隐 含 的 并 行 性 ， 遗 传 算法 的 基础 理论 是 图 式 定理 。 
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2. 遗传 基本 算法 


遗传 算法 包含 5 个 基本 要 素 : 问题 编码 、 初 始 群体 的 设 定 、 适 应 值 函数 的 设计 、 遗 传 
操作 设计 、 控 制 参数 设 定 。 

由 于 遗传 算法 是 由 进化 论 和 遗传 学 机 理 产 生 的 直接 搜索 优化 方法 ， 故 而 在 这 个 算法 中 
要 用 到 各 种 进化 和 遗传 学 的 概念 。 这 些 概念 如 下 : 

串 〈String) : 它 是 个 体 (Individual) 的 形式 ， 在 算法 中 为 二 进 制 串 ， 并 且 对 应 于 遗 
传 学 中 的 染色 体 (Chromosome) 。 

群体 (Population) : 个 体 的 集合 称 为 群体 ， 串 是 群体 的 元 素 。 

群体 大 小 (Population Size) : 在 群体 中 个 体 的 数量 称 为 群体 的 大 小 。 

基因 (Gene) : 基因 是 串 中 的 元 素 ， 基 因 用 于 表示 个 体 的 特征 。 例 如 有 一 个 串 
S=1011， 则 其 中 的 1，0，1，1 这 4 个 元 素 分 别称 为 基因 。 它 们 的 值 称 为 等 位 基因 (Alletes〉。 

基因 位 置 (Gene Position) : 一 个 基因 在 串 中 的 位 置 称 为 基因 位 置 ， 有 时 也 简称 基因 
位 。 串 的 基因 位 置 由 左 向 右 计 算 ， 例 如 在 串 S=1101 中 ，0 的 基因 位 置 是 3。 基 因 位 置 对 应 于 
遗传 学 中 的 地 点 (Locus) 。 

基因 特征 值 (Gene Feature) : 在 用 串 表 示 整 数 时 ， 基 因 的 特征 值 与 二 进 制 数 的 权 一 
致 ， 例 如 在 串 S=1011 中 ， 基 因 位 置 3 处 的 1， 其 基因 特征 值 为 2;， 基因 位 置 1 处 的 1， 基 因 特 
征 值 为 8。 

串 结构 空间 〈SS) : 在 串 中 ， 基 因 任意 组 合 所 构成 的 串 的 集合 。 基 因 操 作 是 在 结构 空 
间 中 进行 的 。 串 结构 空间 对 应 于 遗传 学 中 的 基因 型 (Genotype) 的 集合 。 

参数 空间 SP: 这 是 串 空 间 在 物理 系统 中 的 映射 ， 它 对 应 于 遗传 学 中 的 表现 型 

(Phenotype) 的 集合 。 

非 线性 : 它 对 应 遗传 学 中 的 异 位 显 性 〈Epistasis) 。 

适应 度 (Fitness) : 表示 某 一 个 体 对 于 环境 的 适应 程度 。 

长 度 为 了 的 mn 个 二 进 制 串 刀 Ci = 1，2，…，m) 组 成 了 遗传 算法 的 初 解 群 ， 也 称 为 初始 
群体 。 在 每 个 串 中 ， 每 个 二 进 制 位 就 是 个 体 染 色 体 的 基因 。 根 据 进化 术语 ， 对 群体 执行 的 
操作 有 3 种 。 

1) 选择 (Selection) 

选择 是 指 从 群体 中 选择 出 较 适 应 环境 的 个 体 。 这 些 选中 的 个 体 用 于 繁殖 下 一 代 ， 故 有 
时 也 称 这 一 操作 为 再 生 。 由 于 在 选择 用 于 繁殖 下 一 代 的 个 体 时 ， 是 根据 个 体 对 环境 的 适应 
度 决 定 其 繁殖 量 的 ， 因 此 有 时 也 称 为 非 均匀 再 生 。 

2) 交叉 《Crossover) 

交叉 是 指 在 选中 用 于 繁殖 下 一 代 的 个 体 中 ， 对 两 个 不 同 的 个 体 的 相同 位 置 的 基因 进行 
交换 ， 从 而 产生 新 的 个 体 。 
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3) 变异 (Mutation) 

变异 是 指 在 选中 的 个 体 中 ， 对 个 体 中 的 某 些 基 因 执 行 异 向 转化 。 在 串 bi 中 ， 如 果 某 位 
基因 为 1， 产 生变 异 时 就 是 把 它 变 成 0， 反 之 亦 然 。 

遗传 算法 的 原理 可 以 简要 给 出 如 下 描述 : 

选择 一 个 初始 的 入 口 ; 

确定 每 个 个 体 的 适应 度 ; 

执行 选择 ; 

重复 ; 

执行 交叉 ，; 

执行 突变 ; 

确定 每 个 个 体 的 适应 度 ; 

执行 选择 ; 

直到 停止 准则 应 用 。 

某 种 结束 准则 一 般 是 指 个 体 的 适应 度 达到 给 定 的 阐 值 ， 或 者 个 体 的 适应 度 的 变化 率 为 0。 

遗传 算法 处 理 流程 如 图 9.17 所 示 。 


确定 实际 问题 参数 集 
对 参数 集 进行 编码 
初始 化 群体 PCD) 
1) 位 串 解码 的 参数 天 一 一 一 | 产生 新 一 代 群 体 
2) 计算 目标 函数 值 。 | ,一 评价 人 
3) 函数 值 向 适应 值 映射 en 
4) 适应 值 调整 
5 不 划 术 介子 | 满足 停止 规则 > es| 结束 
1) 选择 
2) 交叉 No 
3) 变异 | 遗传 操作 


图 9.17 ”遗传 算法 的 处 理 流程 图 


3. 遗传 算法 的 优 缺 点 


遗传 是 一 种 基于 生物 自然 选择 与 遗传 机 理 的 随机 搜索 算法 ， 是 一 种 仿生 全 局 优化 方 
法 。 遗 传 算法 具有 的 隐 含 并 行 性 、 易 于 和 其 他 模型 结合 等 性 质 使 得 它 在 数据 挖掘 中 被 加 以 
应 用 。 遗 传 算法 的 应 用 还 体现 在 与 神经 网 络 、 粗 集 等 技术 的 结合 上 。 如 利用 遗传 算法 优化 
神经 网 络 结构 ， 在 不 增加 错误 率 的 前 提 下 ， 删 除 多 余 的 连接 和 隐 层 单元 ， 用 遗传 算法 和 
BP 算法 结合 训练 神经 网 络 ， 然 后 从 网 络 提取 规则 等 。 但 遗传 算法 的 算法 比较 复杂 ， 并 且 
收敛 于 局 部 极 小 的 较 早 收敛 问题 也 尚未 解决 。 
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9.5.3 ”决策 树 方法 


决策 树 起 源 于 概念 学 习 系统 (Concept Learning System，CLS) 。 决 策 树 方法 就 是 利 
用 信息 论 的 原理 建立 决策 树 ， 该 类 方法 的 实用 效果 好 ， 影 响 较 大 。 决 策 树 可 高 度 自动 化 地 
建立 起 易于 为 用 户 所 理解 的 模型 ， 而 且 系 统 具 有 较 好 的 处 理 缺 省 数据 及 带 有 噪声 数据 等 能 
力 。 决 策 树 学 习 算法 的 一 个 最 大 的 优点 就 是 它 在 学 习 过 程 中 不 需要 使 用 者 了 解 很 多 背景 知 
识 。 这 样 只 要 训练 事例 能 够 用 属性 -结论 的 方式 表达 出 来 ， 就 能 使 用 该 算法 来 进行 学 习 。 
研究 大 数据 集 分 类 问题 常 使 用 决策 树 方法 。 决 策 树 方法 速度 较 快 ， 可 被 转换 成 简洁 易 懂 
的 分 类 规则 ， 也 可 转换 成 对 数据 处 理 的 SQL 语句 。 另 外 ， 决 策 树 分 类 与 其 他 分 类 方法 相 比 
较 ， 具 有 相同 甚至 更 高 的 精度 。 


1. 决策 树 表示 法 


决策 树 采 用 一 种 树 状 结构 ， 它 从 根 节点 开始 ， 对 数据 样本 〈 由 实例 集 组 成 ， 实 例 有 若 
干 属性 ) 进行 测试 ， 根 据 不 同 的 结果 将 数据 样本 划分 成 不 同 的 数据 样本 子 集 ， 每 个 数据 样 
本 子 集 构成 一 子 节点 。 生 成 的 决策 树 每 个 叶 节 点 对 应 一 个 分 类 。 构 造 决策 树 的 目的 是 找 出 
属性 和 类 别 间 的 关系 ， 用 它 来 预测 将 来 未 知 类 别 的 记录 的 类 别 。 这 种 具有 预测 功能 的 系统 
叫 决策 树 分 类 器 。 

图 9.18 画 出 了 一 棵 典型 的 学 习 决策 树 。 这 棵 决策 树 根据 天 气 情 况 分 类 “星期 六 上 午 
是 否 适合 打 网 球 ”。 例 如 ， 实 例 Outlook = Sunny，Temperature=Hot，Humidity= High， 
Wind= Strong 将 被 沿 着 这 棵 决策 树 的 最 左 分 支 向 下 排列 ， 因 而 被 判定 为 反例 。 


Outlook 


[ 
Sunny Overcast Rain 
| | | 


Humidity Yes Wind 
High Nomal Strong Weak 
No Yes 和. Yes 
图 9.18 ”决策 树 示 例 


通常 决策 树 代表 实例 属性 值 约束 的 合 取 (con-junction〉 的 析 取 式 〈disjunction) 。 从 
树 根 到 树叶 的 每 一 条 路 径 对 应 一 组 属性 测试 的 合 取 ， 树 本 身 对 应 这 些 合 取 的 析 取 。 例 如 ， 
图 9.18 所 示 的 决策 树 对 应 于 以 下 表达 式 : 

D (Outlook= Sunny and Humidity= Normal) 

D (Outlook= Overcast) 

D (Outlook= Rain +Wind= Weak) 
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2. 决策 树 构造 思想 


构造 一 个 决策 树 分 类 器 通常 分 为 两 步 - 树 的 生成 和 剪 枝 。 决 策 树 的 生成 是 一 个 从 上 至 
下 ，“ 分 而 治之 ”( divide-and-conquer) 的 过 程 ， 是 一 个 递归 的 过 程 。 设 数据 样本 集 
为 S， 算 法 框架 如 下 : 

(1) 如 果 数 据 样本 集 S 中 所 有 样本 都 属于 同一 类 或 者 满足 其 他 终止 准则 ， 则 5 不 再 划 
分 ， 形 成 叶 节 点 ; 

(2) 和 否则， 根据 某 种 策略 选择 一 个 属性 ， 按 照 属性 的 各 个 取 值 ， 对 进行 划 分 ， 得 到 
1 个 子 样本 集 ， 记 为 %$。 再 对 每 个 S 从 代 执 行 步骤 1 经 过 ”次 递归 ， 最 后 生成 决策 树 。 从 根 到 
叶 结 点 的 一 条 路 径 就 对 应 着 一 条 规则 ， 整 棵 决策 树 就 对 应 着 一 组 析 取 表达 式 规则 。 树 构成 
步骤 中 ， 主 要 就 是 找 出 节点 的 属性 和 如 何 对 属性 值 进行 划分 。 

决策 树 生成 后 面临 的 问题 是 树 的 过 度 细 化 ， 特 别 是 存在 噪声 数据 或 不 规范 属性 时 更 为 
突出 ， 决 策 树 的 修剪 就 是 对 过 度 细 化 的 模型 进行 调整 。 

修剪 算法 分 为 前 剪 枝 算法 和 后 剪 枝 算法 两 种 。 前 剪 枝 算法 是 在 树 的 生长 过 程 完成 前 就 
进行 剪 枝 。 

如 Friedman 提 出 的 限制 最 小 节点 大 小 的 方法 是 ， 当 节点 处 的 实例 数目 小 于 阔 值 上 时 就 
停止 生长 该 节点 ;Quinlan 提 出 的 不 纯度 阔 值 法 是 ， 若 划分 该 节点 后 不 纯度 减 小 量 低 于 某 
一 阔 值 则 停止 生长 。 这 类 算法 的 优点 是 在 树 生长 的 同时 就 进行 了 剪 枝 ， 因 而 效率 高 ， 但 是 
它 可 能 会 前 去 了 某 些 有 用 但 还 没有 生成 的 节点 。 

后 剪 枝 算法 是 当 决 策 树 的 生长 过 程 完成 后 再 进行 剪 枝 。 它 分 为 需要 单独 剪 枝 集 和 不 需 
要 单独 前 枝 集 两 种 情况 。 后 剪 枝 有 一 些 优点 ， 例 如 ， 当 单个 的 两 个 属性 似乎 没什么 用 处 ， 
但 当 结 合 在 一 起 时 却 有 强大 的 预测 能 力 ， 即 一 种 结合 效果 ， 在 两 个 属性 值 正确 结合 时 是 非 
常 有 用 的 ， 而 单个 属性 则 没有 用 。 大 多 数 决策 树 构建 者 采用 后 剪 枝 的 方法 ， 前 剪 枝 方法 是 
和 否 开发 和 实现 得 同 后 剪 枝 方法 一 样 好 还 在 讨论 之 中 。 


3. 决策 树 方法 的 优 缺 点 


决策 树 是 一 种 常用 于 预测 模型 的 算法 ， 它 通过 将 大 量 数据 有 目的 的 分 类 ， 从 中 找到 一 
些 有 价值 的 、 潜 在 的 信息 。 它 的 主要 优点 是 描述 简单 ， 分 类 速度 快 ， 特 别 适 合 大 规模 的 数 
据 处 理 。 最 有 影响 和 最 早 的 决策 树 方法 是 由 Quinlan 提 出 的 著名 的 基于 信息 箭 的 ID3 算 法 。 
它 的 主要 问题 是 : ID3 是 非 递增 学 习 算法 ，ID3 决 策 树 是 单 变量 决策 树 ， 复 杂 概 念 的 表达 
困难 ， 同 性 间 的 相互 关系 强调 不 够 ， 抗 噪 性 差 。 针 对 上 述 问 题 ， 出 现 了 许多 较 好 的 改进 算 
法 ， 如 Schlimmer 和 Fisher 设 计 了 ID4 递 增 式 学 习 算法 ， 钟 鸣 、 陈 文 伟 等 提出 了 IDLE 算 法 等 。 


9.5.4 关联 规则 


关联 规则 是 数据 挖掘 领域 中 的 一 个 非常 重要 的 研究 课题 ， 广 泛 应 用 于 各 个 领域 ， 既 可 
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以 检验 行业 内 长 期 形成 的 知识 模式 ， 也 能 够 发 现 隐 藏 的 新 规律 。 有 效 地 发 现 、 理 解 、 运 用 
关联 规则 是 完成 数据 挖掘 任务 的 重要 手段 ， 因 此 对 关联 规则 的 研究 具有 重要 的 理论 价值 和 
现实 意义 。 

关联 规则 挖掘 问题 是 R. Agrawal 等 人 于 1993 年 在 文献 中 首先 提出 来 的 。 关 联 规则 是 描 
述 数据 库 中 一 组 数据 项 之 间 的 某 种 潜在 关系 的 规则 。 一 个 典型 的 关联 规则 的 例子 就 是 : 在 
超市 中 ，90% 的 顾客 在 购买 面包 和 黄油 的 同时 也 会 购买 牛奶 。 其 直观 的 意义 是 顾客 在 购买 
某 种 商品 时 有 多 大 的 倾向 也 会 购买 另外 一 些 商品 。 找 出 所 有 类 似 这 样 的 规则 ， 对 于 企业 确 
定 生产 销售 、 产 品 分 类 设计 、 产 品 排放 、 市 场 分 析 以 及 市 场 营销 策略 等 多 方面 都 是 很 有 价 
值 的 。 

此 后 人 们 对 关联 规则 的 挖掘 问题 进行 了 大 量 研究 ， 包 括 Apriori 算 法 优化 、 多 层次 关联 
规则 算法 、 多 值 属性 关联 规则 算法 、 其 他 关联 规则 算法 等 ， 以 提高 算法 挖掘 规则 的 效率 。 

(1) 关联 规则 基本 原理 。 

设 三 {i，ij，…，i, } 是 m 个 不 同 的 项 目 组 成 的 集合 ， 给 定 一 个 事务 数据 库 D， 其 中 的 
每 一 个 事务 7 是 1 中 一 组 项 目的 集合 ， 即 了 cIT，7T 有 一 个 唯一 的 标志 符 TID。 对 于 项 集 X， 
设 定 coxwmt 〈 工 E7T) 为 交集 D 中 包含 X 的 交易 的 数量 ， 则 项 集 X 的 支持 度 为 : 
count(X CT) 

| 

最 小 支持 度 是 项 集 的 最 小 支持 阔 值 ， 记 为 SUP.,。， 代 表 了 用 户 关心 的 关联 规则 的 最 低 
重要 性 。 支 持 度 不 小 于 SUP,, 的 项 集 称 为 频繁 集 ， 长 度 为 的 频繁 项 集 称 为 二 频繁 集 。 

一 条 关联 规则 就 是 形 如 X 了 的 蕴涵 式 : 

RE 


式 中 久 cI， 并 且 XNMY=p， 表 示 项 集 X 出 现 ， 则 导致 7 以 某 一 概率 也 会 出 现 。 


关联 规则 R 的 支持 度 是 同时 包含 XY 的 数量 与 |D| 之 比 。 即 : 
count(X CT) 
| 


support(X)= 


support(X SY)= 


支持 度 反 映 了 X、 了 同时 出 现 的 概率 。 
对 于 关联 规则 KR， 可 信和 度 是 指 包含 XY 和 了 的 数量 与 包含 X 的 数量 之 比 。 即 : 
confidence(X SY)= Sport 7) 
support(X) 

可 信和 度 反 映 了 如 果 交 易 中 包 含 X， 则 交易 包含 7 的 概率 。 

关联 规则 挖掘 问题 就 是 在 事务 数据 库 D 中 找 出 具有 用 户 给 定 的 最 小 支持 度 SUP,, 和 最 
小 置信 度 CONF。a 的 关联 规则 。 关 联 规则 挖掘 问题 可 以 分 解 为 以 下 两 个 子 问题 : 

@ 找 出 存在 与 事务 数据 库 中 的 所 有 强项 集 X 的 支持 度 support (X) ， 不 小 于 用 户 给 定 

的 最 小 支持 度 SUP,,， 则 称 了 为 强项 集 (large item sets ) 。 
@ 利用 强项 集 生 成 关联 规则 。 
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(2) 关联 规则 算法 之 Apriori 算 法 。 

Apriori 算 法 通过 对 数据 库 刀 的 多 趟 扫描 《〈Pass) 来 发 现 所 有 的 强项 集 。 该 算法 利用 了 
如 下 两 个 基本 性 质 。 

性 质 1: 任何 强项 集 的 子 集 必定 是 强项 集 。 

性 质 2: 任何 弱项 集 的 超 集 必定 是 弱项 集 。 

Apriori 算 法 在 第 一 趟 扫描 数据 库 时 ， 对 项 集中 的 每 一 个 数据 项 计算 其 支持 度 ， 确 定 
出 满足 最 小 支持 度 的 1- 强 项 集 的 集合 上 7。 在 后 续 的 第 /天 扫 描 中 首先 以 寻 7 趟 扫描 中 所 发 现 
的 含 太 1 个 元 素 的 强项 集 的 集合 Lk， 作 为 种 子 集 ， 利 用 该 种 子 集 生成 新 的 潜在 的 -强项 集 的 
集合 ， 即 候选 集 Ck (candidate item sets) ， 然 后 扫描 数据 库 ， 计 算 这 些 候选 集 的 支持 度 ， 最 后 
从 候选 集 C 中 确定 出 满足 最 小 支持 度 的 K 强 项 集 的 集合 Lk， 并 将 ZK 作为 下 一 趟 扫描 的 种 子 集 。 

不 断 重 复 上 述 过 程 直至 不 再 有 新 的 强项 集 产生 为 止 。 

假设 数据 库 中 每 一 个 事务 的 数据 项 保持 字母 顺序 ， 给 定 事务 数据 库 D， 一 个 数据 项 集 
的 支持 度 可 认为 是 所 有 包含 该 数据 项 集 的 事务 数 。 对 于 每 一 个 数据 项 集 有 一 个 域 Count 来 
保存 它 的 支持 度 计 数 。 

Apriori 算 法 的 基本 框架 描述 如 下 。 

Input: Database D of transactions; minimum support threshold minsupport Method, 

Output: L1 frequent itemsets in D 

<l>L1={Large 1-itemsets}; 

<2>For (k=2; Lk-l#@; k++) do begin 

<3>Ck= aprlorygen (Lk-1，minsupport) ; /* 生 成 候选 k 一 项 集 */ 

<4>Forall transactions tED do begin 

<5>Ct=subset (Ct ，t) ; /* 候 选集 Ck 中 提取 包含 在 事务 t 中 的 候选 k 一 项 集 */ 

<6>Forall Candidates CE Ct do 

<7> C. Count++; 

<8> End 

<9>Lk={CEe Ck}C.Conut> minsupporrt}; 

<10>End 

<11>An swer=UkLk ; /* 求 Lk 的 和 */ 

Apriori 算 法 的 突出 特点 是 利用 第 k-1 趟 扫描 中 得 到 的 强项 集 的 集合 Lk-1 来 生成 候选 集 
Ck。 它 通过 以 k-1 强 项 集 的 集合 Lk-1， 作 为 参数 的 函数 Apriori gen (Lk-1) 来 实现 ， 该 函 
数 返 回 k- 强 项 集 的 集合 Lk 超 集 ， 即 候选 集 Ck。 


9.5.5 ”粗糙 集 


粗糙 集 是 数据 挖掘 的 方法 之 一 ， 它 是 处 理 模 糊 和 不 确定 知识 的 一 种 数学 工具 。 粗 糙 集 
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处 理 的 对 象 是 类 似 二 维 关系 表 的 信息 表 ， 目 前 成 熟 的 关系 数据 库 管理 系统 和 数据 仓库 管理 
系统 为 基于 粗糙 集 的 数据 挖掘 黄 定 了 坚实 的 基础 。 由 于 粗糙 集 的 优点 及 其 客观 性 ， 现 在 粗 
粮 集 已 被 国内 外 的 研究 者 所 重视 ， 并 广泛 应 用 于 数据 挖 气 、 模 式 识别 等 领域 。 

粗粮 集 理论 是 一 种 处 理 模糊 和 不 确定 性 问题 的 数学 工具 。 它 不 需要 除 问 题 所 需 处 理 
的 数据 集合 之 外 的 任何 先 验 信息 ， 仅 仅 以 对 观测 数据 的 分 类 能 力 为 基础 ， 解 决 模糊 或 不 精 
确 性 数据 的 分 析 和 处 理 。 粗 糙 集 理论 的 基本 框架 可 归纳 为 : 以 不 可 区 分 关系 划分 论 域 的 知 
识 ， 形 成 知识 表达 系统 ， 引 入 上 、 下 近似 逼近 所 描述 对 象 ， 并 考察 属性 的 重要 性 ， 从 而 删 
除 元 余 属 性 ， 简 化 知识 表达 空间 ， 挖 掘 规则 。 

属性 约 简 是 粗糙 集 应 用 于 数据 挖掘 的 核心 概念 之 一 ， 通 过 约 简 的 计算 ， 粗 糙 集 可 以 用 
于 特征 约 简 或 特征 提取 ， 属 性 关联 分 析 。 粗 糙 集 是 计算 密集 的 ， 已 经 证 明 求 取 所 有 约 简 和 
最 小 约 简 的 问题 都 是 NP-hard 的 。 计 算 属性 约 简 类 似 于 机 器 学 习 中 的 最 小 属性 子 集 选 择 问 
题 ， 高 效 的 约 简 算法 是 粗糙 集 理 论 应 用 于 数据 挖 扬 与 知识 发 现 领域 的 基础 。 


1. 粗糙 集 理 论 


粗糙 集合 和 普通 集合 的 概念 有 本 质 的 区 别 ， 粗 糙 集 中 的 成 员 关 系 、 集 合 的 等 价 关系 都 
与 集合 的 不 可 区 分 关系 表达 的 论 域 知 识 有 关 ， 一 个 元 素 是 否 属于 一 个 集合 不 是 由 其 客观 性 
决定 的 ， 而 是 取决 于 人 们 的 知识 。 所 以 粗糙 集 的 特性 都 不 是 绝对 的 ， 与 我 们 对 事物 的 了 解 
程度 有 关 。 从 某 种 意义 上 来 讲 ， 粗 糙 集 方法 可 以 被 看 作 是 对 经 典 集合 理论 的 拓展 。 

粗糙 集 理论 的 主要 概念 有 不 可 区 分 关系 、 上 近似 与 下 近似 、 约 简 与 核 、 相 对 约 简 与 相 
对 核 信息 系统 与 决策 表 。 

粗糙 集 理论 所 有 的 概念 和 计算 都 是 以 不 可 区 分 关系 为 基础 的 ， 通 过 引入 上 近似 集 和 下 
近似 集 ， 在 集合 运算 上 定义 。 这 通常 称 为 粗糙 集 理论 的 代数 观 。 另 外 也 有 一 些 学 者 从 信息 
论 的 角度 对 粗糙 集 理论 进行 研究 ， 以 信息 焙 为 基础 提出 了 相应 的 粗糙 集 理论 的 信息 观 。 在 
协调 的 决策 表 中 粗糙 集 理论 的 代数 观 和 信息 观 是 等 价 的 ， 而 在 不 协调 的 决策 表 中 代数 观 和 
信息 观 是 不 等 价 的 。 


2. 粗糙 集 方法 的 优 缺 点 


粗糙 集 理论 是 一 种 研究 不 精确 、 不 确定 知识 的 数学 工具 。 粗 糙 集 方法 有 几 个 优点 : 不 
需要 给 出 额外 信息 ; 简化 输入 信息 的 表达 空间 ， 算 法 简单 ， 易 于 操作 。 粗 糙 集 处 理 的 对 象 
是 类 似 二 维 关系 表 的 信息 表 。 但 粗糙 集 的 数学 基础 是 集合 论 ， 难 以 直接 处 理 连续 的 属性 ， 
而 现实 信息 表 中 连续 属性 是 普遍 存在 的 ， 因 此 连续 属性 的 离散 化 是 制约 粗糙 集 理论 实用 化 
的 难点 。 
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9.6 ”电力 大 数据 与 查询 技术 


电力 大 数据 的 查询 技术 主要 就 是 数据 库 的 查询 处 理 ， 而 查询 处 理 的 关键 技术 就 是 查 
询 优化 技术 。 分 布 式 数据 库 查 询 优化 有 两 种 ， 一 种 是 代数 优化 ， 即 对 关系 代数 表达 式 的 
优化 ; 另 一 种 是 物理 优化 ， 即 选择 合适 数据 存储 路 径 以 及 适当 的 底层 操作 运算 。 无 论 是 
在 集中 式 数 据 库 还 是 在 分 布 式 数据 库 中 ， 一 个 查询 处 理 策略 的 选择 都 是 以 执行 查询 的 预 
期 代价 为 依据 的 。 在 集中 式 数 据 库 系统 中 ， 查 询 优化 的 目标 是 使 查询 的 总 代价 最 小 。 查 
询 的 总 代价 通常 包括 查询 处 理 过 程 中 的 CPU 代价 和 IO 代价 ， 而 集中 式 数据 库 都 是 在 单个 
计算 机 上 运行 的 ， 所 以 使 总 代价 最 小 也 就 代表 着 使 查询 的 响应 时 间 最 短 。 在 分 布 式 数据 
库 系统 中 ， 由 于 数据 库 都 分 布 在 不 同 的 站 点 上 ， 因 此 除了 要 考虑 单机 情况 下 的 CPU 代价 
和 IO 代价 外 ， 还 要 考虑 站 点 间 的 通信 代价 。 这 两 种 数据 库 的 查询 处 理 预 期 代价 估算 公式 


描述 如 下 : 
集中 式 数 据 库 系统 查询 总 代价 :T=LO 代 价 +CPU 代 价 (9-9) ; 
分 布 式 数据 库 系 统 查 询 总 代价 : T=IO 代 价 +CPU 代 价 + 通信 代价 (9-10) ; 
通信 代价 估算 公式 为 : T (X) =CO+CI。X (9-11) ; 


其 中 CO 为 两 个 站 点 间 通 信和 初始 化 一 次 传输 所 花费 的 时 间 ， 由 通信 系统 决定 ， 通 常 
将 其 近似 为 一 个 常数 ， 以 秒 〈s) 为 单位 ，CI 代 表 传输 率 ， 即 传输 单位 数据 所 要 花费 的 时 
间 ， 是 传输 速率 的 倒数 ， 单 位 为 秒 /比特 〈s/bit) ; X 则 指 的 是 两 个 站 点 间 的 网 络 上 进行 传 
输 的 数据 量 ， 以 比特 〈bit) 为 单位 。 

在 分 布 式 数据 库 系统 中 ， 查 询 优化 一 般 有 两 个 目标 : 一 种 是 以 总 的 代价 最 小 为 优化 
目标 ， 另 一 种 是 以 查询 的 响应 时 间 最 短 为 优化 目标 。 总 代价 指 的 是 查询 的 执行 代价 ， 它 的 
代价 公式 上 面 已 给 出 ; 响应 时 间 是 指 从 查询 开始 到 查询 执行 完毕 得 到 查询 结果 所 需要 的 时 
间 ， 它 不 仅 和 局 部 处 理 时 间 有 关 ， 而 且 还 与 通信 时 间 有 关 。 那 么 在 对 分 布 式 数据 库 系统 进 
行 查询 优化 时 ， 将 整个 系统 所 处 的 网 络 类 型 考虑 在 内 是 必 不 可 少 的 ， 而 目前 的 分 布 式 数据 
库 所 处 的 网 络 类 型 主要 可 分 为 远程 通信 网 和 高 速 局 域 网 两 种 。 

在 远程 通信 网 (也 就 是 广域网 ) 环境 下 ， 各 站 点 之 间 的 数据 传输 速率 要 比 单机 情况 下 
( 即 内 存 与 磁盘 间 的 传输 速度 ) 慢 很 多 ， 因 此 在 此 种 环境 下 ， 往 往 忽 略 查询 的 局 部 处 理 代 
价 ， 将 减少 网 络 的 通信 费用 作为 主要 的 优化 目标 ， 而 由 公式 〈9-13) 可 知 通信 费用 是 与 网 
络 上 数据 传输 量 成 正比 关系 的 ， 所 以 在 远程 通信 网 环境 下 的 分 布 式 数 据 库 查 询 优化 中 ， 通 
常 以 减少 传输 的 次 数 以 及 传输 的 数据 量 作为 优化 准则 。 

在 高 速 局 域 网 中 ， 通 信 的 代价 往往 比 局 部 处 理 的 开销 小 ， 所 以 在 这 种 情况 下 的 查询 优 
化 往往 以 减少 查询 的 响应 时 间作 为 优化 的 准则 。 而 响应 时 间 不 仅 与 局 部 处 理 时 间 有 关 ， 而 
且 还 与 通信 时 间 有 关 ， 但 其 中 减少 局 部 处 理 时 间 是 问题 的 关键 。 由 于 分 布 式 数据 库 所 特有 
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的 分 布 性 特点 ， 在 进行 查询 优化 时 也 常常 要 考虑 如 何 进行 并 行 查询 处 理 来 减少 查询 总 的 响 
应 时 间 。 


9.6.1 分 布 式 查询 的 分 类 


在 分 布 式 数据 库 中 ， 查 询 可 分 为 3 类 : 局 部 查询 、 远 程 查询 和 全 局 查询 。 局 部 查询 就 
是 在 本 站 点 上 进行 的 查询 ， 查 询 的 数据 仅仅 涉及 本 地 数据 ， 因 此 ， 局 部 查询 与 集中 式 数据 
库 的 查询 类 似 。 而 远程 查询 是 指 在 网 络 中 的 某 一 站 点 上 执行 查询 ， 即 查询 网 络 上 其 他 站 点 
上 的 数据 。 对 于 全 局 查询 ， 则 包括 了 局 部 查询 和 远程 查询 ， 查 询 的 数据 涉及 网 络 中 多 个 站 
点 上 的 数据 。 由 于 远程 查询 和 全 局 查询 都 涉及 网 络 上 其 他 站 点 的 数据 ， 所 以 必须 在 站 点 间 
进行 数据 的 传输 ， 这 样 就 引出 了 通信 费用 这 一 问题 。 因 为 局 部 查询 与 集中 式 数 据 库 的 查询 
类 似 ， 所 以 在 分 布 式 数据 库 中 讨论 查询 算法 时 ， 一 般 都 是 对 远程 查询 和 全 局 查询 的 讨论 。 

局 部 查询 是 对 本 地 单个 站 点 上 的 数据 进行 查询 ， 与 集中 式 数据 库 中 的 查询 类 似 ， 因 此 
这 两 种 查询 所 采用 的 查询 优化 技术 也 基本 相同 。 在 集中 式 数据 库 查 询 中 ， 所 采用 的 查询 优 
化 技术 一 般 有 查询 分 解 、 关 系 代数 表达 式 的 等 价 变换 等 。 总 的 来 说 ， 这 些 优 化 技术 的 一 般 
策略 有 以 下 5 种 ， 这 些 策 略 也 同样 适用 于 局 部 查询 。 

(1) 尽 可 能 地 提前 处 理 选择 与 投影 操作 。 选 择 与 投影 操作 都 是 对 关系 的 元 组 进行 得 
选 ， 可 缩减 关系 的 大 小 ， 无 论 这 个 关系 以 后 还 要 进行 何 种 操作 ， 所 产生 的 中 间 结 果 都 会 比 
使 用 整个 关系 时 要 小 。 

(2) 对 数据 进行 预 处 理 。 比 如 在 连接 操作 中 ， 对 要 进行 连接 的 属性 列 进行 排序 或 者 
在 该 列 上 建立 索引 ， 这 样 在 以 后 进行 连接 时 系统 对 数据 的 扫描 次 数 就 会 减少 ， 因 而 整个 查 
询 的 响应 时 间 也 会 相应 地 减少 。 

(3) 同时 进行 选择 和 投影 操作 。 对 于 同一 关系 的 选择 和 投影 操作 ， 可 以 在 对 这 个 关 
系 进行 扫描 的 过 程 中 同时 进行 这 两 种 操作 。 如 果 顺 序 执 行 这 两 操作 ， 就 会 造成 系统 对 该 关 
系 的 重复 扫描 ， 而 整个 查询 的 响应 时 间 也 就 随 之 增加 。 

(4) 尽 可 能 将 选择 和 投影 操作 与 前 后 的 二 元 操作 结合 起 来 。 比 如 笛 卡 尔 积 ， 如 果 将 
笛 卡 尔 积 与 其 前 后 的 选择 操作 结合 成 为 自然 连接 ， 那 么 无 论 是 在 对 关系 的 扫描 次 数 上 还 是 
产生 的 中 间 结 果 上 都 要 比 单纯 地 使 用 和 卡尔 积 要 少 得 多 。 

(5) 寻找 公共 子 表达 式 。 对 于 出 现 多 次 的 表达 式 ， 可 以 将 该 表达 式 的 结果 写 入 中 间 
文件 ， 这 样 在 执行 该 表达 式 时 ， 直 接 从 中 间 文 件 中 提取 数据 就 可 以 了 ， 避 免 了 对 该 表达 式 
的 重复 执行 ， 造 成 不 必要 的 时 间 浪 费 。 

远程 查询 虽然 是 对 网 络 中 其 他 站 点 数据 的 查询 ， 但 所 查询 的 数据 却 仅仅 涉及 到 单个 站 
点 的 数据 ， 而 这 一 点 又 与 局 部 查询 很 相似 ， 所 以 对 于 远程 查询 的 优化 策略 也 就 和 局 部 查询 
的 相似 了 。 但 远程 查询 的 数据 是 在 其 他 站 点 上 的 ， 因 此 在 进行 查询 优化 时 还 有 一 个 站 点 选 
择 的 问题 ， 即 选择 哪个 站 点 上 的 数据 或 数据 片段 作为 查询 对 象 。 参 照 减少 通信 代价 的 优化 
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准则 ， 如 果 所 查询 的 数据 是 元 余 分 配 的 ， 那 么 在 进行 站 点 选择 时 应 当 尽量 选择 具有 该 数据 
副本 并 且 距 离 查 询 发 起 站 点 最 近 的 站 点 。 

全 局 查询 涉及 多 个 站 点 的 数据 ， 因 此 优化 策略 也 不 会 像 局 部 查询 和 远程 查询 那么 简 
单 ， 一 般 有 以 下 4 个 基本 策略 。 

(1) 确定 具体 副本 : 也 就 是 站 点 选择 问题 。 在 分 布 式 数据 库 中 ， 一 个 关系 经 过 分 片 
处 理 后 ， 所 产生 的 片段 被 分 配 到 网 络 中 的 多 个 站 点 上 进行 存放 。 一 个 查询 语句 经 过 处 理 后 
最 终 要 落实 到 对 某 一 个 具体 物理 片段 的 查询 ， 而 选择 不 同 物理 片段 来 执行 查询 操作 的 效率 
及 开销 可 能 会 大 不 相同 ， 因 此 在 查询 执行 前 首先 要 选择 可 以 使 查询 开销 最 小 的 物理 片段 。 

(2) 选择 操作 执行 的 顺序 : 这 些 操作 一 般 包括 选择 、 投 影 、 并 、 连 接 。 对 于 选择 和 
投影 操作 所 采用 的 处 理 策略 与 集中 式 数据 库 以 及 局 部 查询 中 所 采用 的 策略 基本 相同 ， 都 是 
尽 可 能 提前 执行 选择 和 投影 操作 。 而 对 于 并 和 连接 ， 都 是 对 多 个 关系 或 者 片段 的 操作 。 由 
于 在 分 布 式 数 据 库 中 ， 关 系 和 片段 都 是 被 分 配 到 了 多 个 站 点 上 ， 因 此 这 两 个 操作 都 可 能 会 
涉及 到 网 络 间 的 数据 传输 ， 这 两 者 执行 顺序 的 选择 是 非常 重要 也 是 非常 复杂 的 。 

(3) 确定 操作 执行 的 方法 : 这 包括 把 若干 个 操作 组 合 起 来 在 一 次 数据 库 访 问 中 执 
行 ， 确 定 可 用 的 访问 路 径 〈 比 如 索引 ) ， 以 及 确定 某 种 计算 方法 等 。 

(4) 确定 执行 站 点 : 在 分 布 式 数据 库 中 ， 由 于 数据 的 元 余 性 和 分 布 性 ， 使 得 全 局 查 
询 选 择 站 点 执行 的 方案 也 有 多 种 多 样 。 不 同 的 站 点 的 执行 速度 、 系 统 空闲 情况 都 不 尽 相 
同 ， 选 择 不 同 站 点 执行 查询 操作 的 代价 也 会 不 同 ， 因 此 在 确定 执行 的 站 点 时 要 同时 考虑 通 
信 代 价 和 执行 效率 。 此 外 ， 由 于 查询 的 执行 站 点 并 不 一 定 是 全 局 查询 的 发 起 站 点 ， 因 此 还 
需要 将 结果 传送 到 查询 的 发 起 站 点 ， 这 就 又 产生 了 数据 传输 的 问题 ， 有 时 在 进行 优化 时 也 
要 将 这 个 问题 考虑 在 内 。 

上 面 所 讲 的 这 4 点 并 不 是 独立 存在 的 ， 通 常 为 了 找到 一 个 查询 执行 的 最 优 策略 ， 需 要 
从 这 4 个 方面 共同 考虑 。 正 如 上 面 的 第 (2) 点 所 说 ， 并 和 连接 操作 均 会 引起 站 点 间 的 通 
信 ， 而 通信 代价 又 是 分 布 式 查询 总 代价 的 组 成 部 分 ， 因 此 第 〈2) 点 也 是 这 4 个 点 中 的 关键 
问题 ， 同 时 也 是 众多 分 布 式 查询 优化 算法 所 研究 的 重点 。 


9.6.2 分布 式 查询 优化 的 层次 结构 


由 于 分 布 式 数据 库 的 分 布 透明 性 ， 使 得 用 户 在 进行 数据 查询 时 ， 不 必 知道 关 系 是 否 被 
分 片 、 有 无 副本 、 数 据 的 具体 物理 存放 位 置 等 信息 ， 对 用 户 而 言 ， 查 询 的 过 程 就 同 集中 式 
数据 库 一 样 。 为 了 方便 介绍 分 布 式 数据 库 的 查询 ， 通 常 从 结构 上 将 查询 分 为 4 个 层次 ， 自 
上 而 下 分 别 为 查询 分 解 、 数 据 本 地 化 、 全 局 优化 、 局 部 优化 。 

(1) 查询 分 解 : 查询 分 解 是 结构 的 第 一 层 ， 它 对 全 局 查询 语句 进行 词法 分 析 、 语 法 
分 析 并 将 其 转化 为 关系 代数 表达 式 或 SQL 语句 ， 而 转化 过 程 中 所 需要 的 信息 可 从 全 局 概念 
模式 中 获得 。 
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(2) 数据 本 地 化 : 作为 结构 的 第 二 层 ， 数 据 本 地 化 的 任务 就 是 将 在 全 局 关系 上 的 关 
系 代数 表达 式 转 换 为 在 相应 片段 上 的 关系 代数 表达 式 ， 将 查询 所 涉及 的 数据 落实 到 合适 的 
站 点 片段 上 。 整 个 转换 过 程 所 需要 的 信息 在 分 片 模式 和 片段 的 分 配 模式 中 获得 。 

(3) 全 局 优化 : 第 三 层 为 全 局 优化 层 ， 主 要 找 出 分 片 查询 的 最 佳 操作 次 序 ， 使 得 代 
价 函 数 最 小 。 代 价 函数 一 般 是 与 CPU 代价 、IO 代 价 和 通信 代价 有 关 的 关系 表达 式 ， 根 据 
优化 目标 的 不 同 代 价 函 数 也 会 有 所 变化 。 经 过 全 局 优化 处 理 ， 得 到 的 是 一 个 优化 的 片段 代 
数 查询 ， 这 个 过 程 所 需要 的 信息 来 自 数据 库 的 统计 信息 ， 包 括 各 站 点 片段 统计 信息 、 资 源 
信息 和 通信 信息 等 。 

(4) 局 部 优化 : 最 底下 的 一 层 就 是 在 各 站 点 执行 数据 库 查 询 ， 实 现 对 相应 站 点 上 数 
据 片 段 的 查询 ， 并 由 各 站 点 的 数据 库 系统 对 片段 查询 进行 的 优化 。 这 个 过 程 所 采用 的 优化 
策略 与 集中 式 数据 库 相 同 ， 这 个 过 程 所 需 的 信息 可 从 局 部 模式 获得 。 在 数据 本 地 化 和 全 局 
优化 阶段 是 分 布 式 数据 库 查询 优化 的 重点 。 在 数据 本 地 化 阶段 ， 通 常 所 使 用 的 方法 是 基于 
关系 代数 等 价 变换 的 优化 算法 。 在 全 局 优化 阶段 ， 连 接 操 作 是 引起 代价 的 主要 操作 ， 为 了 
更 好 地 处 理 连接 操作 来 优化 查询 ， 国 内 外 很 多 学 者 一 直 都 在 进行 这 方面 的 研究 并 提出 了 许 
多 不 同 的 优化 算法 ， 而 这 些 算法 通常 可 分 为 基于 半 连 接 的 查询 优化 算法 和 基于 直接 连接 的 
查询 优化 算法 这 两 大 类 。 


9.7 电力 大 数据 与 数据 模型 


模型 是 对 现实 世界 进行 抽象 的 工具 。 在 信息 管理 中 需要 将 现实 世界 的 事物 及 其 有 关 特 
征 转 换 为 信息 世界 的 数据 才能 对 信息 进行 处 理 与 管理 ， 这 就 需要 依靠 数据 模型 作为 这 种 转 
换 的 桥梁 。 这 种 转换 一 般 需 要 经 历 从 现实 到 概念 模型 ， 从 概念 模型 到 逻辑 模型 ， 从 人 逻辑 模 
型 到 物理 模型 的 转换 过 程 ， 如 图 9.19 所 示 。 
概念 模型 一 逻辑 模型 一 物理 模型 
图 9.19 ”模型 转换 


9.7.1 数据 仓库 开发 模型 


数据 仓库 的 设计 就 是 在 概念 模型 、 逻 辑 模型 和 物理 模型 的 依次 转换 过 程 中 实现 的 ， 如 
图 9.20 所 示 。 作 为 数据 仓库 的 灵魂 一 一 元 数据 模型 则 自始至终 伴随 着 数据 仓库 的 开发 、 实 
施 与 使 用 。 数 据 粒 度 和 聚集 模型 也 在 数据 仓库 的 创建 中 发 挥 着 指导 的 作用 ， 指 导 着 数据 仓 
库 的 具体 实现 ， 如 图 9.21 所 示 。 
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一 > 概念 世界 >] 逻辑 世界 一 > 计算 机 世界 
信用 ”9 特性 ”属性 ”3 列 ( 字 段 、 数 据 项 ) 
广 > 


个 体 | 站 实体 | 中 | ”记录 


客户 ”| 整体 | 同 质 整体 | 表 文 件 
客户 与 产品 上 寺 整 体 间 联系 | 异 质 整体 | 一 -| 。 ”数据 库 
现实 世界 | -| 概念 模型 ->| 逻辑 模型 -| ”物理 模型 
第 一 级 抽象 ”第 二 级 抽象 第 三 级 抽象 
图 9.20 四 个 世界 的 三 级 抽象 


现实 世界 
y 
> 2 和 
A 
比 | 站 逻辑 模型 | | 度 
据 [ 一 了 条 
给 | 上 "| 物理 模型 上 十 寺 集 
一 | 数据 仓库 一 [一 


图 9.21 数据 仓库 的 数据 模型 


9.7.2 数据 仓库 概念 模型 


数据 仓库 概念 模型 的 设计 可 以 使 用 业务 数据 处 理 系统 中 的 E-R 图 ， 但 两 者 有 一 些 差距 。 

(1) 数据 仓库 的 数据 模型 中 不 包含 操作 型 的 数据 ， 数 据 仓库 的 数据 模型 只 包含 用 户 
感 兴趣 的 分 析 数 据 、 描 述 数据 和 细节 数据 。 

(2) 数据 仓库 的 数据 模型 扩充 了 关键 字 结构 ， 增 加 了 时 间 属 性 作为 关键 字 的 一 部 分 。 

(3) 数据 仓库 的 数据 模型 中 还 增加 了 一 些 由 基本 数据 所 导出 的 衍生 数据 ， 这 些 导 出 
的 衍生 数据 主要 用 于 对 企业 的 管理 决策 进行 分 析 。 

图 9.22 所 示 为 企业 的 数据 模型 示意 图 。 
财务 部 门 | ,| 企业 数据 模型 
销售 收入 由 et 
销售 部 站 于 [网 务 部 门 | 
销售 计划 TT 


人 事 部 门 | | .……- es | 
员工 业绩 记录 


图 9.22 ”企业 数据 模型 示意 图 
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数据 传统 的 E-R 图 不 能 直接 用 于 数据 仓库 的 概念 模型 的 设计 ， 只 能 对 其 中 的 元 素 作 修 
改 后 使 用 ， 为 此 将 实体 分 成 指标 实体 〈 事 实 实体 ) 、 维 度 实 体 和 详细 类 别 实体 〈 引 用 实 


体 ) ， 如 图 9.23 所 示 。 
二 ei 详细 类 别 
指标 实体 名 维度 实体 名 
指标 实体 (事实 实体 ) 维度 实体 详细 类 别 实体 


(引用 实体 ) 
图 9.23 ”对 实体 的 划分 

指标 实体 :现实 世界 中 的 业务 处 理 或 某 一 事件 的 逻辑 表示 ， 是 数据 仓库 中 的 实体 表 。 
对 指标 实体 数据 的 管理 是 数据 仓库 管理 的 重点 。 

维度 实体 ， 可 以 形成 一 个 维度 体系 ， 具 备 访问 和 过 滤 指 标 实体 的 能 力 ， 是 数据 仓库 中 
较 小 的 表 。 

详细 类 别 实体 : 与 现实 世界 中 的 某 一 个 实体 相对 应 。 它 具有 终止 操作 的 作用 。 

用 户 通 过 维度 实体 得 到 指标 实体 数据 ， 而 在 操作 到 详细 类 别 实体 时 停止 操作 。 

@ 星 型 模型 

星 型 模型 是 最 常用 的 数据 仓库 设计 结构 的 实现 模式 ， 使 数据 仓库 形成 了 一 个 集成 系 
统 ， 为 用 户 提供 分 析 服 务 对 象 。 星 型 模型 的 核心 是 事实 表 ， 围 绕 事实 表 的 是 维度 表 ， 通 过 
事实 表 将 各 种 不 同 的 维度 表 连 接 起 来 ， 各 个 维度 表 都 连接 到 中 央 事 实 表 ， 如 图 9.24 所 示 。 


图 9.24” 星 型 模型 示意 图 

事实 表 : 包含 主题 。 维 度 表 : 包含 事实 的 非 正 规 化 描述 。 

星 型 模型 可 以 采用 关系 型 数据 库 结构 。 维 度 表 中 的 对 象 通过 事实 表 与 男 一 维度 表 中 的 
对 象 相关 。 通 过 事实 表 将 多 个 维度 表 进 行 关 联 ， 就 能 建立 各 个 维度 表 对 象 之 间 的 联系 。 每 
一 个 维度 表 通 过 一 个 主键 与 事实 表 进 行 连接 。 维 度 表 利用 维度 关键 字 通 过 事实 表 中 的 外 键 
约束 于 事实 表 中 的 某 一 行 。 事 实 表 中 的 外 键 不 得 为 空 。 

@ 雪花 模型 

雪花 模型 是 对 星 型 模型 的 扩展 ， 每 一 个 维度 都 可 以 向 外 连接 到 多 个 详细 类 别 表 ， 如 
图 9.25 所 示 。 雪 花 模型 对 星 型 模型 的 维度 表 进 一 步 标准 化 ， 对 星 型 模型 中 的 维度 表 进 行 了 
规范 化 处 理 。 
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维度 表 维度 表 详细 类 别 表 
维度 表 维度 表 详细 类 别 表 


图 9.25 ”雪花 模型 示意 图 


9.7.3 数据 仓库 逻辑 模型 


逻辑 模型 亦 称 为 中 间 层 数据 模型 ， 它 是 对 高 层 概念 模型 的 细 分 ， 在 高 层 模型 中 所 标识 
的 每 个 主题 域 或 指标 实体 都 需要 与 一 个 逻辑 模型 相对 应 。 


图 9.26、 图 9.27 分 别 是 逻辑 模型 的 基本 结构 和 高 层 概念 与 中 层 逻 辑 模型 的 对 应 关系 示 
意图 。 


超 类 型 子 类 型 


轩 
室 
数据 组 


图 9.26 ”逻辑 模型 的 基本 结构 


中 层 逻 辑 模型 


”高 层 逻 辑 模型 
-二 
| 


图 9.27 ”高 层 概 念 模型 与 中 层 逻 辑 模 型 的 对 应 关系 


中 层 逻 辑 模型 
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基本 数据 组 ， 存 有 唯一 的 主要 主题 域 ， 包 含 只 出 现 一 次 的 属性 和 键 。 

二 级 数据 组 : 存 有 可 以 存在 多 次 的 属性 。 

联接 数据 组 : 用 于 本 组 主要 主题 域 与 其 他 主要 主题 域 之 间 的 联系 。 它 往往 是 一 个 主题 
的 公共 码 主键 。 

类 型 数据 组 : 由 不 同 数据 类 型 的 数据 组 组 成 ， 一 般 可 以 分 为 超 类 型 数据 组 和 子 类 型 数 
据 组 。 

除 联接 数据 组 外 的 3 种 数据 组 的 划分 都 基于 数据 的 不 同 稳定 性 。 基 本 数据 组 的 稳定 性 
大 于 二 级 数据 组 ， 而 二 级 数据 组 的 稳定 性 大 于 类 型 数据 组 。 


9.7.4 数据 仓库 的 物理 模型 


数据 仓库 的 物理 模型 构建 主要 依托 于 物理 模型 的 存储 结构 和 索引 构建 。 存 储 结构 
一 般 采 用 并 行 存储 结构 (Redundant Array of Inexpensive Disk， 廉 价 宛 余 磁 盘 阵 列 
RAID) ， 主 要 采用 磁盘 镜像 、 磁 盘 复制 、 奇 偶 校 验 和 磁盘 分 段 技术 。RAID 实 现 原理 是 将 
数据 写 入 多 块 磁盘 中 ， 如 果 一 块 磁盘 发 生 故障 ， 还 可 以 从 其 他 存放 元 余数 据 的 磁盘 上 访问 
数据 。 

索引 构建 分 为 位 图 索引 、 广 义 索引 、 连 接 索 引 和 索引 的 选择 4 块 。 位 图 索引 是 将 索引 
中 的 每 个 位 对 应 表 中 一 条 记录 的 布尔 测试 值 。 确 定 某 些 统计 可 以 通过 索引 进行 ， 而 不 需 读 
取 数 据 记录 本 身 ， 如 统计 女性 客户 数 。 检 索 满 足 某 种 条 件 记录 时 ， 可 以 通过 索引 筛选 出 满 
足 条 件 的 记录 ， 再 读 取 相 应 的 数据 记录 ， 而 不 需 读 取 不 满足 条 件 的 记录 。 对 于 值 域 大 于 2 
的 列 ， 需 要 为 每 个 值 创建 索引 。 若 创建 上 海 市 索引 或 北京 市 索引 ， 一 般 考虑 使 用 基数 较 低 
的 列 来 创建 位 图 索引 。 有 些 列 是 无 法 建 位 图 索引 的 ， 如 身份 证 列 ， 此 时 可 以 对 位 图 索引 使 
用 布尔 运算 ， 来 实现 更 为 复杂 的 选择 条 件 。 

广义 索引 是 指 在 向 数据 仓库 中 装载 数据 时 ， 根 据 用 户 的 需要 建立 的 索引 。 广 义 索引 
的 内 容 一 般 包 含 用 户 最 关心 、 最 常 使 用 的 问题 ， 如 有 关 销 售 事实 的 商品 总 量 、 销 售 总 金额 
等 。 每 次 向 数据 仓库 装载 数据 时 ， 就 重新 生成 广义 索引 的 内 容 。 广 义 索引 一 般 以 元 数据 方 
式 存 放 。 连 接 索 引 是 将 事实 表 和 维度 表 中 的 索引 项 进行 连接 运算 后 ， 将 结果 作为 索引 保留 
下 来 。 当 需要 将 事实 表 和 维度 表 进 行 连接 运算 时 ， 可 以 直接 利用 连接 索引 进行 连接 运算 。 
连接 索引 可 以 根据 需要 设立 ， 不 一 定 对 全 部 外 键 设立 。 

索引 的 选择 指 的 是 主键 必须 建立 索引 ; 不 要 求 必须 对 外 键 设置 连接 索引 ， 但 如 果 表 很 
大 ， 数 据 很 多 ， 外 键 应 该 设置 连接 索引 ， 在 对 数据 仓库 使 用 SQL 语句 操作 时 ，WHERE 子 
句 中 所 指定 的 列 可 以 考虑 为 其 建立 索引 ， 但 要 考虑 其 基数 。 

物理 模型 设计 的 另 一 项 内 容 是 提高 数据 仓库 的 VO 性 能 。 数 据 仓库 的 VO 性 能 可 以 从 以 
下 几 方 面 展现 。 

合并 表 : 当 对 涉及 几 个 表 的 某 些 列 的 查询 具有 固定 性 时 ， 可 以 将 这 些 表 的 记录 合并 起 
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来 以 减少 连接 操作 的 代价 。 

建立 数据 序列 : 当 按照 某 一 固定 的 顺序 访问 并 处 理 一 组 数据 记录 时 ， 可 以 将 数据 按照 
处 理 顺 序 存放 到 连续 的 物理 块 中 ， 形 成 数据 序列 。 

引入 宛 余 : 一 些 表 的 某 些 属性 可 能 在 许多 地 方 都 要 用 到 ， 将 这 些 属性 复制 到 多 个 主题 
中 ， 可 以 减少 处 理 时 存 取 表 的 个 数 。 

表 的 物理 分 割 : 每 个 主题 中 的 各 个 属性 存 取 频率 是 不 同 的 。 将 一 张 表 按 各 属性 被 存 取 
的 频率 分 成 两 个 或 多 个 表 ， 并 将 具有 相似 访问 频率 的 数据 组 织 在 一 起 。 

生成 派生 数据 : 在 原始 数据 的 基础 上 进行 总 结 或 计算 ， 生 成 派生 数据 。 可 以 在 应 用 中 
直接 使 用 这 些 派生 数据 ， 减 少 1/O 次 数 ， 免 去 计算 或 汇总 步骤 ， 在 更 高 级 别 上 建立 公用 数 
据 源 ， 能 够 避免 不 同 用 户 重复 计算 可 能 产生 的 偏差 。 


9.7.5 数据 仓库 的 元 数据 模型 


元 数据 是 数据 的 数据 ， 是 对 数据 仓库 中 各 种 数据 的 详细 描述 与 说 明 。 根 据 元 数据 在 数 
据 仓库 中 所 承担 的 任务 ， 可 以 将 元 数据 分 成 静态 元 数据 和 动态 元 数据 两 类 。 静 态 元 数据 主 
要 与 数据 结构 有 关 ; 动态 元 数据 主要 与 数据 的 状态 和 使 用 方法 有 关 。 

元 数据 分 为 静态 元 数据 和 动态 元 数据 。 静 态 元 数据 由 名 称 、 描 述 、 格 式 、 数 据 类 型 、 
关系 、 生 成 时 间 、 来 源 、 索 引 、 类 别 和 域 等 一 系列 业务 规则 数据 构成 ;动态 元 数据 由 入 库 
时 间 、 更 新 周期 、 数 据 质量 、 统 计 信息 、 状 态 、 处 理 、 存 储 位 置 和 存储 大 小 等 一 系列 引用 
数据 构成 。 

元 数据 描述 了 数据 的 结构 、 内 容 、 键 、 索 引 等 项 内 容 。 在 数据 仓库 中 ， 元 数据 定义 了 
数据 仓库 中 的 许多 对 象 一 一 表 、 列 、 查 询 、 商 业 规 则 或 是 数据 仓库 内 部 的 数据 转移 。 它 是 
数据 仓库 的 重要 构件 ， 是 数据 仓库 的 指示 图 (roadmap) ， 指 出 了 数据 仓库 中 各 种 信息 的 
位 置 和 含义 。 

元 数据 为 数据 仓库 、DSS 分 析 员 及 高 层 决策 人 员 提 供 有 关 决 策 的 数据 。 为 解决 操作 型 
环境 和 数据 仓库 的 复杂 关系 ， 元 数据 要 将 从 操作 性 环境 到 数据 仓库 的 转换 描述 出 来 ， 以 便 
从 数据 仓库 向 数据 库 回溯 时 找到 原始 依据 。 对 于 数据 仓库 中 数据 的 管理 ， 元 数据 要 描述 数 
据 仓库 中 数据 的 各 种 变化 、 处 理 方法 。 

元 数据 要 描述 数据 仓库 在 抽取 、 求 精 和 重 构 过 程 中 从 资源 到 数据 仓库 之 间 的 映射 关 
系 ， 主 要 用 于 确认 数据 质量 、 同 步 化 和 刷新 ， 以 及 在 反映 最 终 用 户 所 关心 的 商业 规则 和 数 
据 之 间 建 立 的 一 种 映射 关系 。 元 数据 在 数据 源 抽取 中 用 于 资源 领域 的 确定 ， 跟 踪 历史 数据 
结构 变化 的 过 程 ， 将 多 个 系统 数据 源 的 相似 字段 映射 到 一 起 ， 将 数据 字段 的 不 同 格式 转换 
为 兼容 格式 的 标准 规范 。 
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9.7.6 数据 仓库 的 粒度 和 聚集 模型 


粒度 是 指数 据 仓库 中 数据 单元 的 详细 程度 和 级 别 。 数 据 越 详细 ， 粒 度 就 越 小 ， 数 据 综 
合 度 越 高 ， 粒 度 就 越 大 ， 级 别 就 越 高 。 粒 度 可 定义 成 数据 仓库 中 数据 细节 的 最 低层 次 ， 如 
事务 层次 。 这 种 数据 层次 是 高 度 细节 化 的 ， 这 样 就 能 使 用 户 按 所 需 的 任何 层次 进行 汇总 。 
根据 粒度 的 划分 标准 可 以 将 数据 划分 为 详细 数据 、 轻 度 总 结 、 高 度 总 结 三 级 或 更 多 级 粒 
度 。 粒 度 的 具体 划分 将 直接 影响 到 数据 仓库 中 的 数据 量 以 及 查询 质量 。 

聚集 数据 主要 是 为 了 使 用 户 获得 更 好 的 查询 性 能 。 聚 集 模型 设计 时 应 该 注意 将 聚集 数 
据 存储 在 其 事实 表 中 ， 并 与 其 底层 数据 相 区 别 。 设 计 聚 集 模 型 时 ， 首 先 需 要 考虑 用 户 的 使 
用 要 求 。 其 次 要 考虑 数据 仓库 的 粒度 模型 和 数据 的 统计 分 布 情况 。 数 据 仓库 的 聚集 模型 的 
设计 与 数据 仓库 的 粒度 模型 紧密 相关 ， 如 果 粒 度 模型 只 考虑 细节 数据 ， 就 需要 多 设计 一 些 
聚集 ， 如 果 粒 度 模型 为 多 层 数 据 ， 就 可 以 少 设计 一 些 聚集 。 建 立 聚 集 模型 时 还 需要 考虑 作 
为 聚集 属性 的 数量 因素 ， 聚集 事实 表 已 经 独立 存在 并 且 可 以 与 基本 事实 表 一 同 保存 ， 通 过 
将 当前 加 载 数据 添加 到 系统 中 的 累积 “ 桶 ”中 ， 可 以 创建 某 时 间 段 的 聚集 ;将 数据 的 聚集 
与 数据 仓库 的 加 载 过 程 组 合 为 同一 处 理 过程 ， 在 将 数据 仓库 数据 加 载 以 后 ， 再 进行 聚集 处 
理 。 每 次 在 加 载 数据 仓库 数据 时 ， 都 需要 对 各 种 聚集 进行 计算 和 增加 ， 及 时 保持 聚集 与 基 
本 数据 的 同步 性 。 


9.7.7 数据 仓库 的 多 维 数据 模型 


多 维 数据 模型 是 为 了 满足 用 户 从 多 角度 多 层次 进行 数据 查询 和 分 析 的 需要 而 建立 
起 来 的 基于 事实 和 维 的 数据 库 模型 ， 其 基本 的 应 用 是 为 了 实现 OLAP (Online Analytical 
Processing) 。 

当然 ， 通 过 多 维 数据 模型 的 数据 展示 、 查 询 和 获取 就 是 其 作用 的 展现 ， 但 其 真正 的 作 
用 在 于 ， 通 过 数据 仓库 可 以 根据 不 同 的 数据 需求 建立 起 各 类 多 维 模型 ， 并 组 成 数据 集 市 开 
放 给 不 同 的 用 户 群 体 使 用 ， 也 就 是 根据 需求 定制 的 各 类 数据 商品 摆 放 在 数据 集 市 中 供 不 同 
的 数据 消费 者 进行 采购 。 

要 了 解 多 维 数据 模型 ， 先 要 了 解 两 个 概念 : 事实 表 和 维度 表 。 事 实 表 是 用 来 记录 
具体 事件 的 ， 包 含 了 每 个 事件 的 具体 要 素 ， 以 及 具体 发 生 的 事情 ; 维度 表 则 是 对 事实 表 
中 事件 要 素 的 描述 信息 。 比 如 一 个 事件 会 包含 时 间 、 地 点 、 人 物 、 事 件 ， 事 实 表 记录 了 
整个 事件 的 信息 ， 但 对 时 间 、 地 点 和 人 物 等 要 素 只 记录 了 一 些 关键 标记 ， 比 如 事件 的 主 
角 叫 “Michael”， 那 么 Michael 到 底 “ 长 什么 样 ”， 就 需要 到 相应 的 维度 表 里 面 去 查询 
“Michael” 的 具体 描述 信息 了 。 基 于 事实 表 和 维度 表 就 可 以 构建 出 多 种 多 维 模 型 ， 包 括 
星 形 模型 、 雪 花 模 型 和 星座 模型 。 

图 9.28 所 示 为 一 个 最 简单 的 星 形 模型 的 实例 。 事 实 表 里 主要 包含 两 方面 的 信息 : 维和 
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度量 ， 维 的 具体 描述 信息 记录 在 维度 表 中 ， 事 实 表 中 的 维 属性 只 是 一 个 关联 到 维度 表 的 
键 ， 并 不 记录 具体 信息 ; 度量 一 般 都 会 记录 事件 的 相应 数值 ， 比 如 这 里 的 产品 的 销售 数 
量 、 销 售 额 等 。 维 度 表 中 的 信息 一 般 是 可 以 分 层 的 ， 比 如 时 间 维 的 年 月 日 、 地 域 维 的 省 市 
县 等 ， 这 类 分 层 的 信息 就 是 为 了 满足 事实 表 中 的 度量 可 以 在 不 同 的 粒度 上 完成 聚合 ， 比 如 
2010 年 商品 的 销售 额 ， 来 自 上 海 市 的 销售 额 等 。 还 有 一 点 需要 注意 的 是 ， 维 度 表 的 信息 更 
新 频率 不 高 或 者 保持 相对 的 稳定 ， 例 如 一 个 已 经 建立 了 十 年 的 时 间 维 在 短期 是 不 需要 更 新 
的 ， 地 域 维 也 是 ; 但 是 事实 表 中 的 数据 会 不 断 更 新 或 增加 ， 因 为 事件 一 直 在 不 断 地 发 生 ， 
用 户 在 不 断 购买 商品 、 接 受 服务 。 


商品 销售 事实 表 


图 9.28 ” 星 形 模型 实例 


9.7.8 数据 仓库 的 模型 设计 与 数据 库 的 模型 设计 的 区 别 


1. 模型 设计 阶段 的 不 同 


数据 仓库 的 概念 模型 设计 以 用 户 理解 的 方式 表达 数据 仓库 的 结构 ， 确 定数 据 仓库 要 访 
问 的 信息 ， 主 要 是 以 信息 包 图 的 方法 用 二 维 表 反 映 数据 的 多 维 性 ， 从 整体 上 表示 用 户 对 信 
息 的 需求 ， 指 明 用 户 希望 从 数据 仓库 中 分 析 的 各 种 指标 ， 它 包括 三 个 重要 对 和 象 : 指标 、 维 
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度 和 类 别 。 与 数据 库 的 概念 模型 设计 类 似 ， 也 采用 “实体 一 关系 ” 〈E-R) 方法 来 建 模 ， 
但 不 同 的 是 需要 用 分 析 主 题 代替 传统 E-R 方 法 中 的 实体 。 数 据 库 系统 的 数据 模型 包括 : 概 
念 模型 ， 即 按 用 户 的 观点 对 数据 建 模 ， 主 要 用 于 数据 库 设计 ， 采 用 “实体 一 关系 ”方法 
来 建 模 ， 轴 辑 模型 ， 即 按 计 算 机 系统 的 观点 对 数据 建 模 ， 是 具体 的 DBMS 所 支持 的 数据 模 
型 ;物理 模型 ， 即 对 数据 最 底层 的 抽象 ， 描 述 数据 在 系统 内 部 的 表示 方式 和 存 取 方 法 。 

数据 仓库 是 多 维 数据 库 。 数 据 仓库 的 逻辑 模型 是 对 主题 域 进行 细 化 ， 每 个 主题 域 包含 
若干 个 数据 表 ， 并 为 表 增 加 时 间 字 段 ， 进 行 表 的 分 割 ， 合 理 表 的 划分 。 它 扩展 了 关系 数据 
库 模 型 ， 以 星 型 架构 为 主要 结构 方式 ， 并 在 此 基础 上 ， 扩 展 出 雪花 型 架构 、 星 群 型 架构 等 
方式 。 

数据 仓库 的 物理 数据 模型 就 是 逻辑 数据 模型 在 数据 仓库 中 的 实现 ， 如 物理 存 取 方 式 、 
数据 存储 结构 、 数 据 存放 位 置 以 及 存储 分 配 等 。 物 理 数据 模型 设计 实现 时 ， 所 考虑 的 主要 
因素 有 LO 存 取 时 间 、 空 间 利用 率 和 维护 代价 。 数 据 库 系统 的 物理 数据 设计 是 在 已 确定 的 
逻辑 数据 库 结构 设计 的 基础 上 ， 兼 顾 数据 库 的 物理 环境 、 操 作 约 束 、 数 据 库 性 能 和 数据 安 
全 性 等 问题 ， 设 计 出 在 特定 环境 下 ， 具 有 高 效率 、 可 实现 性 的 物理 数据 库 的 过 程 。 


2. 数据 模型 类 别 、 结 构 不 同 


数据 仓库 常用 的 数据 模型 有 星 型 、 雪 花 型 、 星 群 型 3 种 。 星 型 结构 图 中 间 是 事实 表 ， 
其 周围 围 角 上 是 一 组 维度 表 ， 每 个 维度 表 都 有 主键 ， 与 事实 表 上 的 外 键 相 关联 。 雪 人 花 模 型 
对 星 形 模型 的 维度 表 进 一 步 标准 化 ， 对 星 形 模型 中 的 维度 表 进 行 了 规范 化 处 理 。 雪 花 模 型 
的 维度 表 中 存储 了 正规 化 的 数据 ， 这 种 结构 通过 把 多 个 较 小 的 标准 化 表 《〈 而 不 是 星 形 模型 
中 的 大 的 非 标准 化 表 ) 联合 在 一 起 来 改善 查询 性 能 。 由 于 采取 了 标准 化 及 维 的 低 粒 度 ， 雪 
花 模型 提高 了 数据 仓库 应 用 的 灵活 性 。 星 群 型 结构 的 数据 模型 设计 是 多 个 主 表 〈 事 实 表 ) 
共享 附 表 〈 维 度 表 ) 。 它 们 的 区 别 只 是 在 于 外 围 维度 表 相互 之 间 的 关系 不 同 而 已 (但 不 管 
是 哪 一 种 架构 ， 维 度 表 、 事 实 表 和 事实 表 中 的 量度 都 是 必 不 可 少 的 组 成 要 素 ) 。 

数据 库 系统 的 数据 模型 主要 是 以 关系 二 维 表 组 织 数据 模型 。 数 据 库 系统 的 数据 模型 
主要 分 为 层次 模型 、 网 状 模型 和 关系 数据 模型 。 用 树 形 结构 来 表示 实体 及 实体 之 间 联 系 的 
模型 称 为 层次 模型 ， 这 种 数据 模型 具有 层次 清楚 、 容 易 理 解 等 优点 ， 所 以 在 早期 数据 库 系 
统 中 采用 这 种 模型 。 在 层次 模型 中 ， 每 一 个 结 点 表示 实体 集 ， 指 向 结 点 的 指针 表示 两 个 实 
体 集 之 间 的 联系 。 层 次 模型 中 每 个 结 点 间 的 关系 只 能 是 1-m 关 系 ， 通 常 把 表示 1 的 实体 集 
放 在 上 方 ， 称 为 父 结 点 ， 而 表示 m 的 实体 集 放 在 下 方 ， 称 为 子 结 点 。 树 的 最 高 位 置 上 只 有 
一 个 结 点 ， 称 为 根 结 点 。 每 个 结 点 由 若干 个 记录 值 表示 。 如 果实 体 及 实体 之 间 的 联系 组 成 
的 结构 为 一 有 向 图 ， 则 称 为 网 状 模型 。 网 状 模型 的 特点 为 ， 可 以 有 一 个 以 上 的 结 点 无 父 结 
点 ， 至 少 有 一 个 结 点 有 多 于 一 个 的 父 结 点 。 所 以 网 状 模 型 可 以 表示 为 m-n 关 系 。 用 表格 形 
式 表示 实 体 以 及 实体 之 间 的 联系 ， 称 为 关系 模型 ， 它 是 以 关系 数学 理论 为 基础 的 。 关 系 模 
型 简洁 明了 ， 便 于 使 用 ， 具 有 很 大 的 发 展 前 景 ， 而 且 它 们 简单 易学 ， 用 户 使 用 的 环境 不 断 
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改进 ， 已 成 为 目前 世界 上 最 畅销 的 大 众 数 据 库 系统 。 


3. 数据 模型 的 结构 特点 不 同 


数据 仓库 的 数据 模型 是 以 维度 表 、 事 实 表 及 事实 表 之 间 连 接 的 关系 构成 。 维 是 人 们 
观察 数据 的 角度 。 维 度 表 是 表示 维 的 各 种 表 。 事 实 表 用 于 存放 基本 数据 ， 相 关 主 题 的 数 
据 主体 (BCNF) 。 量 是 事实 表 中 的 数据 属性 。 数 据 仓库 的 数据 模型 是 多 维 模型 ， 包 括 
事实 表 和 维 表 ， 维 表 用 来 描述 事实 表 的 某 个 重要 方面 。 不 同 的 数据 模型 架构 有 不 同 的 
特点 。 

星 型 模型 的 事实 表 主 要 包含 了 描述 特定 商业 事件 的 数据 ， 即 某 些 特定 商业 事件 的 度量 
值 。 一 般 情况 下 ， 事 实 表 中 的 数据 不 允许 修改 ， 新 的 数据 只 是 简单 地 添加 进 事实 表 中 。 

星 型 模型 的 优点 是 ， 星 型 模型 使 数据 仓库 形成 了 一 个 集成 系统 ， 为 最 终 用 户 提供 报表 
服务 ， 为 用 户 提供 分 析 服 务 对 象 ， 星 型 模式 通过 使 用 一 个 包含 主题 的 事实 表 和 多 个 包含 事 
实 的 非 正规 化 描述 的 维度 表 来 支持 各 种 决策 查询 ， 星 型 模型 可 以 采用 关系 型 数据 库 结构 ， 
模型 的 核心 是 事实 表 ， 围 绕 事实 表 的 是 维度 表 。 通 过 事实 表 将 各 种 不 同 的 维度 表 连 接 起 
来 ， 各 个 维度 表 都 连接 到 中 央 事 实 表 。 维 度 表 中 的 对 象 通过 事实 表 与 另 一 维度 表 中 的 对 象 
相关 联 ， 这 样 就 能 建立 各 个 维度 表 对 象 之 间 的 联系 。 每 一 个 维度 表 通 过 一 个 主键 与 事实 表 
进行 连接 ， 这 种 结构 使 用 户 能 够 很 容易 地 从 维度 表 中 的 数据 分 析 开 始 ， 获 得 维度 关键 字 ， 
以 便 连接 到 中 心 的 事实 表 ， 进 行 查询 。 

星 型 模型 的 优点 是 ， 可 以 提高 查询 的 效率 。 这 种 结构 使 用 户 能 够 很 容易 地 从 维度 表 中 
的 数据 分 析 开始 ， 获 得 维度 关键 字 ， 以 便 连 接 到 中 心 的 事实 表 ， 进 行 查询 ， 对 于 非 计 算 机 
专业 的 用 户 而 言 ， 星 形 模式 比较 直观 ， 通 过 分 析 星 形 模 式 ， 很 容易 组 合 出 各 种 查询 。 

星 型 模型 的 缺点 是 非 规 范 化 。 星 型 模型 以 增加 存储 空间 为 代价 来 提高 多 维 数据 的 查询 
速度 ， 造 成 很 大 的 数据 元 余 ， 非 规范 化 的 、 含 有 大 量 匈 余 的 维度 表 ， 会 使 数据 切片 变 得 更 
加 复杂 ; 由 于 星 型 模型 中 各 维度 表 逐 渐 的 组 合 构成 事实 表 的 主键 ， 当 星 型 模型 的 维 不 能 满 
足 要 求 时 ， 维 的 变化 是 非常 复杂 、 耗 时 的 ;维度 属性 的 复杂 性 造成 的 大 维度 问题 ， 当 维 的 
属性 复杂 时 ， 处 理 维 的 层次 关系 比较 困难 ; 对 “多 对 多 ”关系 ， 星 型 模型 无 能 为 力 。 

雪花 模型 对 星 形 模型 的 维度 表 进 一 步 标准 化 ， 对 星 形 模型 中 的 维度 表 进行 了 规范 化 处 
理 。 雪 花 模 型 的 维度 表 中 存储 了 正规 化 的 数据 ， 这 种 结构 通过 把 多 个 较 小 的 标准 化 表 而 
不 是 星 形 模型 中 的 大 的 非 标准 化 表 ) 联合 在 一 起 来 改善 查询 性 能 。 由 于 采取 了 标准 化 及 维 
的 低 粒度 ， 雪 花 模型 提高 了 数据 仓库 应 用 的 灵活 性 。 

雪花 模型 的 优点 是 ， 可 直接 被 一 些 工 具 使 用 ， 更 加 灵活 地 适应 需求 。 

雪花 模型 的 缺点 是 ， 可 能 使 数据 仓库 变 得 越 来 越 大 而 无 法 管理 ， 可 能 降低 系统 性 能 。 

星 群 模型 是 介 于 星 型 和 雪花 型 之 间 的 模型 ， 它 与 主 关系 数据 分 开 ， 具 备 星 型 和 雪花 型 
的 优点 。 数 据 库 系 统 的 数据 模型 主要 由 一 系列 相互 关联 的 二 维 表 的 集合 构成 。 
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层次 模型 的 优点 是 ， 比 较 简单 ， 只 需要 很 少 几 条 命令 就 能 操纵 数据 库 ， 比 较 容易 使 
用 ; 结构 清晰 ; 结 点 间 联系 简单 ， 只 要 知道 每 个 结 点 的 双亲 结 点 ， 就 可 知道 整个 模型 结 
构 ， 提 供 了 良好 的 数据 完整 性 支持 。 

层次 模型 的 缺点 是 ， 不 能 直接 表示 两 个 以 上 的 实体 型 间 的 复杂 的 联系 和 实体 型 间 的 多 
对 多 的 联系 ， 对 数据 的 插入 和 删除 的 操作 限制 太 多 ; 查询 子女 结 点 必须 通过 双亲 结 点 。 

网 状 模型 的 优点 是 ， 能 更 为 直接 地 描述 客观 世界 ， 可 表示 实体 间 的 多 种 复杂 联系 ; 具 
有 良好 的 性 能 和 存储 效率 。 

网 状 模型 的 缺点 是 ， 结 构 复杂 ， 其 DDL 语 言 极其 复杂 ; 数据 独立 性 差 。 

关系 模型 通过 关系 或 者 表 来 表示 各 个 对 象 之 间 的 联系 。 

关系 模型 的 优点 是 灵活 ， 数 据 库 系统 的 关系 模型 的 存 取 路 径 对 用 户 透明 ， 从 而 具有 
更 高 的 数据 独立 性 ， 更 好 的 安全 保密 性 。 这 也 简化 了 程序 员 的 工作 和 数据 库 开发 建立 的 
工作 。 

关系 模型 的 缺点 是 存 取 路 径 对 用 户 透明 导致 查询 效率 往往 不 如 非 关 系数 据 模型 ， 为 了 
提高 性 能 ， 必 须 对 用 户 的 查询 请 求 进行 优化 ， 这 增加 了 开发 DBMS 的 难度 。 


9.7.9 电力 行业 数据 仓库 模型 


国家 电网 公司 企业 统一 信息 模型 (SG-CIM) 使 用 面向 对 象 的 建 模 技术 定义 ， 用 统一 
建 模 语言 进行 表达 ， 目 标 是 对 公司 全 业务 范围 内 的 业务 对 象 进 行 抽象 从 而 以 信息 模型 的 形 
式 进行 描述 。 本 版 本 的 模型 是 基于 SG-CIM 2.0 设 计 的 成 果 、 在 IEC6 1968/TEC6 1970CIM 最 
新 标准 的 基础 上 ， 围 绕 “ 人 员 组 织 、 财 务 、 物 资 、 资 产 、 电 网 、 项 目 和 客户 ”7 个 核心 专 
业 ， 依 据 国家 电网 公司 需求 进行 扩充 、 修 订 与 完善 。 

SG-CIM 分 为 一 级 主题 域 、 二 级 主题 域 、 类 及 类 的 关系 3 个 层次 ， 每 个 类 有 自己 的 
属性 。 


1. 统一 信息 模型 “ 信 模 一 张 图 ” 


SG-CIM 是 公司 的 企业 级 信息 模型 ， 是 在 企业 级 层面 对 业务 对 象 的 一 体 化 整体 描述 。 
为 体现 统一 信息 模型 的 企业 级 理念 ， 赋 予 统一 信息 模型 以 “ 信 模 一 张 图 ”的 别名 ， 主 要 表 
示 统 一 信息 模型 就 是 一 张 静 态 类 图 〈 由 类 和 类 相互 之 间 关联 所 构成 的 图 ) 的 企业 级 本 质 ， 
是 各 业务 域 相互 融合 的 整体 信息 模型 。 

为 使 “ 信 模 一 张 图 ”的 理念 落地 ， 这 里 设计 编制 了 由 跨 业 务 关联 类 构成 的 静态 类 图 ， 
称 之 为 “核心 聚 类 图 ”。 该 图 对 跨 业 务 域 的 关联 性 进行 了 描述 ， 是 CIM 3.0“ 信 模 一 张 
图 ”的 核心 ， 体 现 了 模型 的 企业 级 本 质 特 性 。 核 心 聚 类 图 也 是 未 来 统一 信息 模型 维护 升级 
的 全 生命 周期 中 的 核心 。“ 核 心 聚 类 图 ”示例 如 图 9.29 所 示 。 
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侈 当 图 关注 忆 兰 ， 6Z 6 图 
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2. 一 级 主题 域 


主题 域 是 一 种 将 相关 模型 元 件 分 组 的 方法 ， 是 某 一 业务 领域 数据 模型 的 集合 ， 主 题 域 
的 划分 是 为 了 使 模型 更 易于 设计 、 理 解 与 查看 ， 直 接 面向 国家 电网 公司 业务 领域 ， 与 职能 
部 门 的 业务 分 工 无 关 。 一 个 实体 类 可 出 现在 多 个 相关 的 主题 域 ， 一 个 业务 应 用 中 的 信息 可 
涉及 多 个 主题 域 。 

SG-CIM 版 包含 10 个 主题 域 ， 后 续 章节 中 将 列 明 各 主题 域 的 实体 清单 。 主 题 域 列表 如 
表 9.1 所 示 。 


表 9.1 SG-CIM 2016 版 一 级 主题 域 


i 明 一 级 主题 域 说 明 
HUMAN RESOURCE， 简 称 Hr GRID， 简 称 Grid 


电网 
客户 


ASSET， 简 称 Ast | 客户 ”|cusTroM， 简 称 Cst 
MATERIAL， 简 称 Mat MARKET， 简 称 Mrt 
PROJECT， 简 称 Prj INTEGRATION， 简 称 Itg 


一 级 主题 域 之 间 的 关系 如 图 9.30 所 示 。 
国王 村 EL 
站 财务 E 


项 目 成 本 控制 


项 目 物资 项 目 


物资 核算 有 
物 
电 | 这 库存 
2 各 | 资产 核算 让 | 项 目次 产 
算 | 算 有 同 
市 场 上 
拓 
电 ) 需求 扑 


DRE 


综合 规划 


电网 结构 、 运 行 安全 


线 变 拓扑 关系 


i 
电网 


[| 客户 


安全 


图 9.30 SG-CIM 一 级 主题 域 之 间 的 关系 


3. 元 素 周 期 表 


统一 信息 模型 的 “元 素 周期 表 ” 是 对 SG-CIM 模 型 的 一 种 量化 表现 形式 ， 其 中 描述 了 
一 级 、 二 级 主题 域 的 划分 、 定 义 及 其 中 所 含 类 和 属性 的 数量 。 同 时 ， 通 过 “元 素 周期 表 ” 
可 以 看 到 模型 所 有 类 和 属性 的 量化 分 布 情况 。 

“元 素 周期 表 ” 根 据 国 际 标准 IEC 61968/IEC 61970 版 本 的 变更 和 国家 电网 公司 业务 需 
求 的 变化 而 进行 更 新 ， 如 图 9.31 所 示 。 
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198 3426353 2920129 1465 198 383774 585. 6839388 655784 1583 


组 织 管理 总 时 和 报表 计划 管理 。 资产 台 账 。 运行 限制 aa 业 扩 报 装 市场 参 与 者 。 风险 
23 31153 2727 166105 21619 83， 121 120479 13323 77 


招聘 配置 ”第 侣 到 收藏 ”采购 管理 ”资产 运 维 电网 拓扑 电费 管理 。 市场 。 目标 计划 
16 17233 28922 24911 1874 13 932309 52254 


培训 开发 ”采风 到 付款 合同 管理 。 资产 检修 发电 


用 电 计量 市 场 安全 过 程 
49 103233 34636 38519 3273 27 188 4077- = 到 


绩效 管理 工程 到 一 7” 仓储 管理 训 关 培 最 ER 安全 事件 
20 13755 66716 18217 2914 37 494 19 
El. 


规划 计划 。 成 分 析 庶 四 名 过 处 是 ”资产 监测 ml 市 场 管理 安全 绩效 
5 5312 845 3725 4333 加 29 450; 


靳 醋 管 理 。 深信 到 控制 。 配送 管理 。 资产 失效 线 损 


智能 用 电 应 急事 件 
49 101249 5569 1227 12829 232 = 5 


劳动 关系 。 风险 到 治理 管 质 基 监督 资产 分 析 。 状态 变 最 综合 管理 
44 70976 4997 10012 27722 186 132 
吉 略 到 续 多 
人 
供应 商 关系 
9 Ee 98 
采购 标准 化 
汪 62 


.| 


图 9.31 ”统一 信息 模型 “元 素 周期 表 ” 


4. 电力 数据 模型 一 一 营 配 一 体 化 模型 


随 着 营销 系统 、 配 电 PMS 系 统 、GIS 平 台 应 用 的 不 断 深化 ， 各 系统 对 数据 的 建 档 规范 
性 、 数 据 精确 性 和 多 专业 联合 分 析 的 要 求 越 来 越 高 。 按 照 公司 智能 电网 精益 化 管理 要 求 ， 
通过 建立 动态 准确 的 “站 一 线 一 变 一 户 ” 拓 扑 关 系 和 数据 同 源 管理 机 制 ， 持 续 提升 营 配 
数据 质量 。 营 配 贯通 后 ， 将 打通 从 配 电网 到 用 户 的 总 体 拓 扑 结 构 ; 同时 配 电 PMS 系 统 可 
及 时 获取 业 扩 报 装 、 用 户 变更 、 用 电量 和 用 电 负 荷 信 息 ， 使 得 电网 供电 情况 和 客户 用 电 
情况 能 够 同步 得 到 分 析 。 通 过 营 配 贯通 ， 可 以 实现 客户 故障 报修 及 时 研判 、 计 划 停 电 范 
围 定位 到 户 、 供 电能 力 分 析 到 配 变 、 线 损 分 析 到 每 天 等 系统 应 用 功能 的 后 续 开 发 ， 为 客 
户 服务 、 营 销 管理 和 配 电网 发 展 提供 有 力 的 技术 和 数据 支撑 ， 能 有 效 提升 公司 经 济 效 益 
和 管理 效率 。 

为 了 实现 营 配 贯通 的 业务 要 求 ， 参 照 IEC CIM 标 准 ， 对 营 配 贯通 业务 进行 数据 建 模 。 
图 9.32 展 示 了 营 配 贯通 数据 模型 的 类 图 ， 主 要 是 通过 配 网 设计 的 用 户 接 入 点 《继承 IEC 
CIM 标 准 Wires 包 中 的 EnergyConsumer) 与 营销 的 计量 点 〈 继 承 IEC CIM 标 准 Metering 包 中 
的 UsagePoint) 建立 关系 ， 实 现 用 电 客 户 和 站 、 线 、 变 建立 关联 ， 其 中 配 网 负责 实现 用 户 
接 入 点 与 站 、 线 、 变 的 关联 ， 营 销 负 责 实现 计量 点 与 用 电 客户 的 关联 。 为 了 实现 故障 报修 
的 业务 集成 ， 参 照 IEC CIM 标 准 ， 故 障 报 修 单 与 用 电 客户 建立 关联 ， 将 抢修 工作 单 与 故障 
报修 单 建立 继承 关系 ， 实 现 数据 信息 集成 共享 
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elass 和 配 贰 通 概览 图 了/ 


图 9.32 ” 营 配 贯通 模型 

CCustomer 是 可 能 或 已 经 与 供电 企业 建立 供用 电 关 系 的 组 织 或 个 人 ， 即 客户 。 一 个 
CCustomer 可 能 对 应 多 个 Consumer (用 电 客户 ) ， 一 个 客户 有 一 个 或 多 个 证 件 (Cert)。 

Consumer 是 客户 签订 用 电 合同 后 具备 了 接受 电力 公司 用 电 服 务 的 角色 ， 即 用 电 客 
户 ，Consumer 继 承 了 Customer 类 。 一 个 Consumer 可 能 会 与 电力 公司 签订 多 个 客户 协议 
(CustomerAgreement) ， 如 用 电 合 同 、 代 扣 、 托 收 、 调 度 协议 等 。 

一 个 用 电 合 同 (ConsumerAgreement， 继 承 CustomerAgreement 类 ) 规定 了 服 
务 地 址 (ServiceLocation， 即 受 电 点 ) ， 同 时 规定 了 每 个 受 电 点 包含 的 多 个 计量 点 
(MeteringPoint， 继 承 UsagePoint 类 ) 的 用 户 电价 〈ConsPrice， 继 承 PricingStructure 
类 ) 。 用 户 电价 根据 用 电 客 户 的 用 电 性 质 进行 分 类 确定 ， 通 常 分 为 低压 居民 、 非 居民 、 商 
业 、 工 业 等 。 

用 电 客 户 〈Consumer) 的 主 计量 点 (MeteringPoint， 继 承 UsagePoint 类 ) 通过 接 入 
点 《EnergyConsumer) 连接 到 配 网 ， 接 受 电 力 系统 资源 (PowerSystemResource) 的 设备 
(Equipment) 供给 的 电能 。 不 同 用 电 客 户 对 应 的 接 入 点 具体 为 变电站 、 公 用 线路 或 公用 
变压器 ， 由 运 检 部 负责 ， 计 量 点 〈MeteringPoint) 和 用 电 客 户 (Consumer) 的 关联 关系 由 
营销 部 负责 。 

接 入 点 (EnergyConsumer) 是 供给 电能 的 电网 设备 到 用 户主 计量 点 的 交界 点 。 无 论 是 
高 压 或 低压 用 电 客 户 ， 都 可 通过 接 入 点 将 电网 拓扑 结构 延伸 至 用 电 客户 ， 实 现 配 网 和 用 户 
的 贯通 。 

故障 单 〈TroubleTicket) 是 用 电 客户 通过 95598 或 其 他 渠道 上 报 故障 信 息 ， 并 将 故 
障 单 发 送 到 运 检 部 门 ， 运 检 部 门 根据 故障 单 生 成 抢修 单 进行 派 工 现场 抢修 。 一 次 故障 
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如 果 引 起 了 大 面积 停电 事故 〈Incident) ， 需 要 下 发 客户 通知 单 (CustomerNotification) 
通知 其 他 用 电 客 户 ， 现 场 抢修 需要 进行 停电 时 ， 将 停电 (Outage) 信息 与 用 户 计量 点 
(MeteringPoint， 继 承 UsagePoint 类 ) 进行 关联 ， 确 定 影响 用 电 的 范围 。 

S. 账 卡 物 联动 模型 

账 卡 物 联动 业务 流程 如 图 9.33 所 示 。 
账 卡 物 联动 业务 流程 


项 目 建设 单位 /使 用 邮 科 单位/ 
保管 单位 财务 部 门 | 。 使 用 保管 单位 /设备 主人 


总 部 实物 资产 | 省 公司 实物 资产 财务 部 门 / 
管理 部 门 /专责 | 管理 部 门 /专责 | 固定 资产 专责 


开始 
耻 工 验收 ， 移 | 
交 资 产 清册 
wa 
bs 创建 图 形 台 幅 
虽 | 设 备 资产 联动 
创建 资产 卡片 
可 设备 台 账 
资产 移交 清册 a 庆 全 
销 助 完善 台 账 核对 同步 J 
回填 资产 编号 
至 PM 和 PMS 
图 形 、 设 备 、 设备 台 姓 
台 账 发 布 核对 同步 


图 9.33 ” 账 卡 物 联动 业务 流程 

当 一 个 基建 或 者 技 改 项 目 工程 即将 验收 完成 时 ， 施 工 建设 方 将 会 同 运 检 、 财 务 等 部 
门 进 行 设备 资产 清册 的 移交 。 设 备 资产 移交 清册 是 设备 实物 转移 的 载体 ， 也 是 设备 实物 建 
立 台 账 的 雏形 ， 设 备 台 账 记录 应 与 设备 资产 移交 清册 保持 一 致 ， 设 备 台 账 建立 、 审 核 完毕 
后 ， 运 检 部 负责 按照 固定 资产 同步 规则 ， 将 设备 实物 转化 为 固定 资产 卡片 。 

图 9.34 深 色 部 分 是 项 目 域 的 部 分 实体 ， 电 网 基建 或 者 技 改 项 目 竣工 结束 向 运 检 部 移交 
时 ， 需 要 向 运 检 部 门 提供 设备 实物 资产 移交 清册 ， 它 是 设备 实物 转移 的 信息 载体 ， 并 作为 
实物 资产 台 账 建立 的 雏形 。 
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[Bass 账 卡 物 - 歼 模 瑟 /7 


Assets-AssetInfo/ 
-| 资产 物理 属性 


图 9.34 ”资产 域 与 项 目 域 衔接 

图 9.35 浅 色 部 分 是 财务 域 的 部 分 实体 ， 设 备 实物 资产 台 账 建立 完成 后 ， 需 按 财 务 固 

定 资产 转 资 标准 规范 进行 转 资 ， 最 终 形成 固定 资产 卡片 《AssCard) 。 由 于 业务 视角 的 不 

同 ， 一 个 固定 资产 卡片 可 能 会 包含 多 个 设备 实物 ， 设 备 实 物 与 财务 固定 资产 卡片 记录 是 多 

对 一 的 关系 ， 固 定 资产 卡片 集 与 设备 实物 集 是 一 对 一 的 关系 。 资 产 卡 片 是 财务 进行 资产 处 

理 、 分 析 的 核心 对 象 之 一 。 
[ss 胜 卡 物 一 政令 局 7 


Assets=Assetinfb/ 
资产 物理 属性 


图 9.35 ”资产 域 与 财务 域 衔接 


6. 营 财 一 体 化 模型 


1) 营 财 一 体 化 业务 描述 
每 月 营销 电费 账 务 人 员 进 行 电费 发 行 ， 营 业 厅 业 务 员 坐 收 电费 (或 金融 机 构 代 收 等 ) 
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并 解 款 ， 由 营销 账 务 人 员 进 行 解 款 核定 。 出 纳 根据 银行 流水 进行 对 账单 录入 ， 生 成 银行 流 
水 凭证 ， 并 根据 解 款 核定 的 结果 进行 到 账 确认 生成 实 收 销 账 凭证 。 
图 9.36 所 示 为 电费 全 景 业务 流程 。 


电费 全 景 业务 流程 图 
营销 银行 则 务 
电 | 下 一 EE 区 
a 电费 发 和 2 生成 应 收 凭证 
收 
> 线 外 导出 
l rm 
营业 厅 坐 收 一 由。 解 款 资金 人 账 | | ”| 资金 流水 
6 ee 生成 银行 流水 凭证 
J 
i 对 账单 录入 
电 | | 代 扣 代 收 一 外 
费 认 | 一 生成 实 收 销 账 赁 证 
实 让 到 账 确认 
收 | | 充值 卡 销售 
| | 解 款 确认 一 
bs 二 | 生成 实 收 转账 作证 
退 费 流程 | . 
包括 果 坏 账 
核算 至 售 数据 协同 处 理 在 售 和 
和 提交 电量 电费 数据 让 (电费 + 基金 及 附加 )| 站 | 至 售 应 收 转 实 收 账 务 
图 9.36 ”电费 全 景 业务 流程 
2) 营 财 一 体 化 类 图 


营 财 一 体 化 类 图 如 图 9.37 所 示 。 


Coasamal 用 电 客户 并 
> 用 电 客户 


| 
服务 管理 :违约 金 退还 
记录 


99 


Ez 
电费 收缴 :: 过 费 记录 


En 
电费 收缴 :: 实 收 电费 
加 信息 
pl 5 
电费 收缴 :: 实 收 代 征 
电费 


| 
电费 收缴 :预收 电 帝 下。 
信息 F 


图 9.37” 营 财 一 体 化 模型 类 图 
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类 图 说 明 : 

营 财 一 体 化 业务 场景 涉及 营销 与 财务 两 个 主题 域 ， 营 销 系统 用 电 客 户 与 电网 公司 发 生 
各 种 业务 ， 如 应 收 电费 、 实 时 电费 、 预 收 电费 、 退 费 、 呆 坏账 等 业务 ， 通 过 会 计 凭 证 类 实 
现 营销 与 财务 的 一 体 化 集成 。 

应 收 电费 信息 : 

@ 定义 : 用 于 记录 电费 应 收 数 据 。 实 体 包含 的 内 容 包 括 应 收 电费 类 别 、 应 收 年 月 、 

应 收 金额 、 实 收 金 额 等 应 收 信息 。 

@ 业务 用 途 : 实体 主要 由 电费 发 行 、 统 计 应 收 、 欠 费 使 用 。 

@ 实 收 电费 信息 : 

@ 定义 : 客户 电费 实 收 的 流水 账 ， 对 应 于 应 收 电 费 。 实 体 包含 的 内 容 包 括 实 收 年 

月 、 实 收 日 期 、 本 次 实 收 电费 、 本 次 实 收 价 内 电费 等 电费 收费 记录 。 

@ 业务 用 途 : 实体 主要 由 收费 取 电 费时 、 统 计 实 收 使 用 。 

会 计 和 凭证 : 

@ 定义 : 描述 记录 经 济 业务 、 明 确 经 济 责任 、 按 一 定格 式 编制 的 据 以 登记 会 计 账簿 

的 书面 证 明 。 按 编制 程序 和 用 途 分 类 ， 会 计 凭证 按 其 编制 程序 和 用 途 的 不 同 ， 分 
为 原始 凭证 和 记 账 凭证 ; 这 里 的 会 计 凭证 特 指 记 账 凭证 。 记 账 凭证 是 会 计 人 员 根 
据 审核 无 误 的 原始 凭证 或 汇总 原始 凭证 ， 用 来 确定 经 济 业务 应 借 、 应 贷 的 会 计 科 
目 和 人 金额 而 填 制 的 ， 作 为 登记 账簿 直接 依据 的 会 计 和 凭证 。 

@ 业务 用 途 : 可 以 记录 经 济 业 务 的 发 生 。 

发 票 开具 信息 : 

@ 定义 ; 描述 发 票 开具 信息 。 

@ 业务 用 途 : 该 实体 主要 用 于 管理 发 票 开 具 业 务 ， 开 票 需求 部 门 根据 开票 具体 信息 

在 发 票 登记 簿 中 进行 开具 信息 登记 。 

在 营 财 一 体 化 模型 中 ， 我 们 发 现 目前 发 票 管理 相关 类 信息 化 支撑 力度 比较 薄弱 。 公 司 
发 票 管理 模式 概括 为 “三 端 ”、 四 步 ” 各 自 为 政 。 具 体 来 说 “三 端 ”是 指 财务 部 门 、 营 销 电 
费 管理 中 心 和 各 级 供电 所 这 3 个 部 门 。“ 四 步 ” 为 发 票 使 用 需求 上 报 、 发 票 购 买 、 发 票 分 
发 和 发 票 回收 。 营 销 电 费 管理 中 心 和 各 级 供电 所 依据 自身 需求 口头 上 报 财务 部 发 票 需求 ， 
财务 根据 这 两 个 部 门 的 需求 去 税务 部 门 印 制 购买 发 票 ， 随 后 财务 部 门 再 进行 发 票 分 发 〈 纸 
质 登记 ) ， 再 后 财务 部 门 依照 新 需求 的 要 求 对 原 有 发 票 进行 缴销 回收 。 图 9.38 所 示 为 营 财 
一 体 化 业务 流程 图 。 
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发 票 


财务 部 门 统计 发 票 需求 


营销 电费 管理 中 心 
各 级 供电 所 口头 上 报 发 票 需求 | 


使 用 发 票 


图 9.38 营 财 一 体 化 业务 流程 图 

由 图 9.38 可 见 发 票 管理 上 的 缺 位 现象 严重 ， 管 理 松散 流程 不 闭环 ， 并 且 存 有 较 大 的 税 
收 隐患 。 

(1) 管理 缺 位 。 营 销 系统 和 金 穗 系统 双 系 统 运行 开票 是 电网 公司 的 一 大 特点 ， 同 时 
也 存在 极 大 的 弊端 : 增值 税 专用 发 票 的 开具 都 需要 从 营销 系统 中 导出 数据 《文本 数据 TXT 
格式 ) 导入 金 穗 系统 再 进行 批量 打印 ， 而 该 文本 数据 是 可 以 人 员 干 预 修改 的 ， 这 将 导致 发 
票 存在 阴阳 票 、 虚 开票 等 问题 ， 也 使 企业 面临 巨大 的 管理 缺 位 及 税务 风险 。 

(2) 管理 流程 断 链 。 原 有 的 “三 端 、 四 步 ” 各 自 为 政 的 断 链 式 粗放 模式 ， 极 易 造 成 
管理 混乱 、 职 责 界 限 不 明确 、 互 相 推 诱 等 多 种 情况 。 如 在 发 票 购买 中 由 于 现 有 人 金 穗 系统 总 
机 无 法 查看 下 属 各 分 机 的 使 用 情况 ， 财 务 部 门 仅 能 依据 业务 部 门 的 发 票 需求 进行 旧 发 票 的 
缴销 和 新 发 票 的 购买 ， 不 存在 财务 人 员 再 复核 的 步骤 ， 导 致 正常 开具 的 发 票 被 误 作废 的 现 
象 经 常 发 生 。 而 造成 这 种 现象 很 难 进行 职责 上 的 界定 ， 导 致 业务 部 门 和 财务 部 门 之 间 推 请 
现象 严重 。 

(3) 信息 化 技术 缺失 。 公 司 收入 金额 和 开票 金额 两 者 之 间 差 距 甚大 ， 而 原 有 手工 查 
找 的 方式 无 法 找 出 不 匹配 的 票据 ， 同 样 也 很 难 进行 数据 统计 分 析 。 同 时 存在 着 发 票 缴销 存 
档 后 ， 票 据 查 找 困 难 的 情况 ， 由 于 票据 存在 多 个 流通 环节 ， 并 随 着 发 票 库存 数量 的 增加 ， 
手工 方式 查找 票据 相当 困难 。 

针对 此 工作 痛 点 ， 提 出 以 下 建议 : 在 营 财 一 体 化 工作 中 ， 将 发 票 纳 入 线 上 管理 ， 实 现 
全 链 式 管理 。 

充分 梳理 当前 财务 发 票 管理 的 流程 及 相关 待 改进 的 环节 的 基础 上 ， 突 出 管理 职能 ， 提 
出 发 票 全 链 式 统一 管理 理念 ， 以 信息 系统 为 载体 ， 锁 定 日 常 运营 的 业务 流程 ， 新 增 原 先 线 
下 工作 无 法 完成 的 业务 功能 ， 从 全 局 的 角度 通盘 考虑 整个 作业 流程 ， 保 障 系统 设计 及 运行 
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的 平稳 和 可 靠 性 。 结 合 电子 发 票 系统 的 部 署 ， 在 营销 中 进行 价 税 分 离 ， 实 现在 线 的 发 票 开 
有 具 。 在 营销 系统 中 “ 抄 表 核算 流程 ”发 行 出 的 电费 可 通过 “电费 收缴 及 账 务 管理 ”中 的 增 
值 税 清单 查询 功能 以 用 户 为 单位 打印 增值 税 普通 发 票 和 增值 税 专用 发 票 ， 发 票 开具 按 电费 
回收 以 电费 发 行为 依据 。 针 对 发 行 记录 ， 营 销 系统 中 通过 按 “ 应 收 电费 标识 ”标记 每 笔 电 
费 发 行 的 发 票 打印 记录 ， 包 括 票据 标识 、 打 印 金额 、 打 印 人 、 打 印 时间 等 。 


第 10 音 


电网 大 数据 应 用 服务 
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大 数据 已 在 公共 管理 、 零 售 、 互 联网 、 电 信 、 人 金融 等 众多 行业 快速 推广 ， 市 场 规模 迅 
速 扩大 ， 已 经 成 为 重要 的 生产 因素 。 

如 仅 从 体 量 特征 和 技术 范畴 来 讲 ， 电 力 大 数据 应 用 服务 是 大 数据 在 电力 行业 的 聚焦 和 
子 集 。 但 是 电力 大 数据 应 用 服务 不 仅仅 是 技术 进步 ， 更 是 涉及 整个 电力 系统 在 大 数据 时 代 
发 展 理念 、 管 理 体制 和 技术 路 线 等 方面 的 重大 变革 ， 是 下 一 代 智能 化 电力 系统 在 大 数据 时 
代 下 价值 形态 的 跃升 。 

重 塑 电力 核心 价值 和 转变 电力 发 展 方式 是 电力 大 数据 的 两 条 核心 主线 。 电 力 大 数据 通 
过 对 市 场 个 性 化 需求 和 企业 自身 良性 发 展 的 挖掘 ， 驱 动 电力 企业 从 “以 电力 生产 为 中 心 ” 
向 “以 客户 为 中 心 ” 转 变 。 电 力 大 数据 通过 对 电力 系统 生产 运行 方式 的 优化 、 对 间歇 式 可 
再 生 能 源 的 消 纳 以 及 对 全 社会 节能 减 排 观 念 的 引导 ， 能 够 推动 中 国电 力 工 业 由 高 耗 能 、 高 
排放 、 低 效率 的 粗放 发 展 方式 向 低 耗 能 、 低 排放 、 高 效率 的 绿色 发 展 方式 转变 。 此 外 ， 电 
力 大 数据 的 有 效应 用 可 以 面向 行业 内 外 提供 大 量 的 高 附加 值 的 内 容 增值 服务 。 


10.1 电网 大 数据 应 用 理念 


电力 大 数据 应 用 理念 及 价值 在 于 挖掘 数据 之 间 的 关系 和 规律 ， 满 足 企业 电力 生产 、 经 营 管 
理 和 电力 服务 在 提高 质量 、 效 益 、 效 率 方面 的 需要 ， 促 进 电力 资源 的 优质 配置 和 高 效 服务 。 

电力 行业 信息 化 和 工业 化 融合 发 展 促使 电力 数据 迅速 增长 和 不 断 融合 ， 电 力 大 数据 
时 代 已 经 到 来 。 电 力 大 数据 源 自 电力 行业 ， 与 智能 电网 、 智 慧 城市 紧密 相连 ， 是 未 来 电力 
发 展 的 重要 资源 。 面 对 电力 大 数据 的 机 遇 与 挑战 ， 研 究 多 数据 融合 、 数 据 模型 、 数 据 可 视 
化 、 内 存 计 算 、 分 布 式 计算 等 关键 技术 ， 促 进 电力 大 数据 在 电力 生产 和 企业 经 营 管理 中 的 
应 用 ， 对 更 好 地 服务 节能 减 排 、 服 务 经 济 社会 发 展 、 服 务 资源 节约 型 和 环境 友好 型 企业 建 
设 意义 重大 。 


10.1.1 应 用 方向 


现 阶 段 ， 各 行 各 业 都 在 努力 挖掘 大 数据 的 发 展 潜力 ， 但 是 从 研究 趋势 来 看 ， 也 具备 
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一 定 的 共性 。 归 纳 来 看 在 以 下 5 个 方面 应 用 趋势 强力 驱动 着 数据 科学 和 大 数据 技术 的 创 
新 发 展 。 

(1) 数据 平台 化 。 大 数据 技术 促进 电网 数据 平台 化 转型 ， 实 现 大 范围 全 局 共享 集 
成 ， 降 低 数 据 技术 研发 成 本 。 数 据 平台 化 有 利于 增加 数据 访问 和 处 理 的 灵活 性 ， 有 助 于 数 
据 科学 和 挖掘 分 析 的 发 展 。 

(2) 数据 及 分 析 技术 快速 研发 。 大 数据 技术 为 综合 、 复 杂 数 据 挖 掘 分 析 提 供 高 速 响 
应 及 访问 的 基础 平台 ， 同 时 ， 结 合 数据 分 析 和 软件 工程 ， 构 建 数据 科学 ， 解 决 生产 和 管理 
中 的 复杂 问题 。 

(3) 综合 利用 外 部 信息 。 建 立 全 局 的 外 部 数据 视图 ， 全 面 利用 外 部 数据 源 ， 掌 握 客 
户 、 外 部 环境 的 变化 和 趋势 。 

(4) 充分 整合 内 部 数据 。 大 数据 技术 为 各 类 原先 难以 集成 利用 的 企业 内 部 数据 提供 
一 体 化 的 处 理 方法 和 平台 ， 使 数据 管理 和 分 析 具 备 全 局 性 、 统 一 性 。 

(5) 基于 实证 的 启发 式 探索 。 大 数据 技术 为 基于 不 同 数据 源 信息 发 现 和 模式 识别 提 
供 支 撑 ， 为 生产 务实 和 管理 决策 提供 基于 实证 的 深入 见解 和 建议 。 


10.1.2 ”重点 应 用 领域 


电网 大 数据 的 重点 应 用 领域 可 以 分 为 支撑 公司 运营 与 发 展 、 面 向 电力 用 户 和 服务 社会 
与 政府 3 大 类 。 其 中 ， 第 一 类 应 用 是 服务 电网 公司 自身 的 运营 与 发 展 ， 力 求 充 分 挖 所 数据 
的 价值 ， 提 升 电网 运行 管理 水 平和 效率 ， 推 动 公司 运营 模式 和 管理 模式 的 创新 ;面向 电力 
用 户 和 服务 社会 与 政府 类 应 用 是 面向 人 民生 活 、 社 会 经 济 与 政府 决策 的 高 级 应 用 ， 力 求 提 
升 服务 质量 ， 为 用 户 提供 多 元 化 服务 ， 更 好 地 支撑 和 服务 于 社会 ， 推 动 公司 服务 模式 的 
创新 。 

1. 支撑 公司 运营 和 发 展 方面 的 应 用 

支撑 公司 运营 和 发 展 的 应 用 主要 包括 发 展 规划 、 电 网 运行 管理 、 资 产 管理 等 几 个 方面 。 

(1) 对 于 大 电网 规划 而 言 ， 受 经 济 社会 发 展 情况 和 相关 政策 的 影响 ， 电 网 规划 面临 
很 大 的 不 确定 性 。 间 葡 式 新 能 源 的 大 规模 并 网 和 柔性 负荷 的 出 现 ， 使 电网 规划 面临 的 不 确 
定性 进一步 加 剧 ， 未 来 电源 发 展 情况 和 负荷 增长 情况 的 预测 需要 考虑 的 因素 越 来 越 多 ， 因 
而 变 得 更 加 困难 。 随 着 网 络 技术 的 发 展 ， 可 参考 的 社会 资讯 越 来 越 多 ， 为 预测 经 济 社会 发 
展 、 能 源 发 展 、 用 户 用 电 增 长 情况 提供 了 更 多 的 参考 渠道 。 用 户 用 电信 息 采 集 系统 为 建立 
分 类 负荷 特性 模型 和 参数 提供 了 条 件 ， 应 用 大 数据 技术 ， 可 以 依据 这 些 数据 对 发 电 和 负荷 
做 出 更 为 科学 的 预测 。 

(2) 电网 运行 管理 的 首要 目标 是 保证 大 电网 的 安全 稳定 性 和 配 电 系统 的 供电 可 靠 
性 。 一 方面 ， 我 国正 在 形成 以 特 高 压 为 骨干 网 架 、 交 直流 混 联 的 复杂 大 电网 ， 系 统 的 结构 
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和 运行 方式 变 得 越 来 越 复 杂 ， 对 电网 的 调度 运行 、 安 全 稳定 地 控制 提出 了 更 高 要 求 ， 基 于 
大 数据 开展 面向 在 线 稳定 计算 需求 的 综合 分 析 处 理 技术 基础 性 研究 ， 从 众多 的 在 线 数据 中 
自动 发 现 电网 安全 运行 的 特征 与 规则 ， 为 运行 方式 安排 和 调度 决策 提供 理论 依据 ， 进 一 步 
提升 大 电网 调度 运行 在 线 安全 分 析 能 力 ， 增 强 电 网 抵御 外 部 因素 对 安全 稳定 运行 影响 的 能 
力 ; 另 一 方面 ， 由 于 电力 的 持续 增长 ， 配 电网 处 在 快速 变化 中 ， 普 遍 存 在 着 配 电网 结构 薄 
弱 、 配 电 自 动 化 水 平 较 低 等 问题 ， 影 响 了 供电 可 靠 性 。 随 着 智能 电网 的 发 展 ， 已 建设 投 运 
的 配 电 自 动 化 系统 、 调 度 自动 化 系统 、 电 网 气象 信息 系统 、 电 能 质量 监测 管理 系统 、 生 产 
管理 系统 、 地 理 信息 系统 、 用 电信 息 采集 系统 、 配 变 负荷 监测 系统 、 负 荷 控制 系统 、 营 销 
业务 管理 系统 、ERP 系 统 、95598 客 服 系统 为 更 有 效 地 运行 管理 配 电网 提供 了 丰富 的 数据 
源 ， 在 应 用 大 数据 技术 基础 上 ， 可 开发 高 效 的 停电 管理 和 优化 、 配 电网 运行 状态 评估 与 预 
警 、 有 源 配 电网 电能 质量 监测 和 评估 、 防 窃 电 分 析 等 应 用 。 

(3) 电网 资产 管理 是 以 资产 为 中 心 ， 综 合 应 用 各 种 先进 自动 化 技术 、 计 算 机 技术 、 
通信 技术 、 信 息 技术 以 及 现代 管理 理念 和 技术 ， 优 化 调整 资产 的 管理 和 运行 ， 优 化 资产 之 
间 的 配合 ， 以 最 大 限度 地 发 挥 其 功能 ， 从 而 达到 以 最 低 的 成 本 实现 所 期 望 的 优质 服务 的 目 
的 。 与 电网 资产 管理 相关 的 大 数据 应 用 涉及 数据 资产 、 设 备 资产 和 人 员 资 产 管理 等 方面 。 
智能 电网 大 数据 应 用 本 身 就 是 通过 对 智能 电网 中 及 来 自 外 部 的 各 种 数据 进行 汇聚 、 融 合 、 
分 析 处 理 ， 为 电网 公司 的 运营 管理 服务 ， 不 断 体现 数据 的 资产 属性 ， 实 现 数据 资产 的 价 
值 。 因 此 本 节 的 资产 管理 指 设备 资产 和 人 员 资 产 管理 。 对 设备 进行 全 寿命 周期 管理 、 对 人 
员 进 行 精细 化 管理 ， 是 电网 资产 管理 的 核心 。 


2. 面向 电网 用 户 方面 的 应 用 


面向 电网 用 户 的 应 用 主要 包括 用 户 行为 分 析 、 用 户 服务 优化 与 提升 两 个 方面 。 

(1) 随 着 “大 营销 ”建设 的 推进 ， 国 家 电网 公司 完成 了 电力 用 户 用 电信 息 采集 系统 、 
SG186 营 销 业 务 应 用 系统 、95598 客 户 服务 、 用 能 服务 管理 平台 、 需 求 侧 管理 系统 等 系统 和 
平台 的 建设 ， 累 积 了 大 量 的 客户 信息 和 数据 。 借 助 于 这 些 数据 ， 对 用 户 的 行为 和 信用 进行 分 
析 ， 有 助 于 电网 公司 有 针对 性 地 制定 优质 服务 策略 ， 为 客户 提供 增值 服务 ， 增 强 与 客户 沟通 
与 互助 ， 优 化 用 户 体验 ， 提 升 电网 公司 服务 和 运营 管理 水 平 。 用 户 行为 与 信用 分 析 包 括 用 户 
用 电 行为 分 析 和 需求 相应 、 用 能 行为 分 析 与 能 效 评估 、 缴 费 行 为 分 析 、 和 与 情 监测 分 析 等 。 

(2) 为 电力 用 户 提供 更 好 的 服务 ， 满 足 用 户 多 样 性 的 需求 既是 电网 公司 运营 发 展 的 
要 求 ， 也 是 电网 公司 体现 公共 服务 性 质 、 塑 造 良好 社会 形象 的 需要 。 目 前 用 电信 息 采 集 系 
统 基本 实现 全 覆盖 、 全 采集 ， 能 够 提供 不 同行 业 、 不 同 用 户 类 型 的 Et 负荷 曲线 、 月 负荷 曲 
线 、 日 电量 、 月 电量 、 年 电量 等 实时 和 历史 数据 。 其 他 营销 业务 系统 中 还 包含 了 用 户 业务 
办 理 、 电 费 收缴 、 缴 费 渠 道 、 供 电 合同 、 用 电 检 查 、 客 户 服务 等 信息 。 而 且 随 着 智能 网 
关 、 智 能 插座 等 设备 逐步 普及 ， 用 户 用 电 数 据 采集 与 存储 变 得 更 为 便捷 ， 并 可 能 获得 更 加 
详细 的 用 户 用 电信 息 ， 为 探索 多 样 的 服务 模式 ， 全 面 提升 服务 水 平 提供 了 条 件 。 大 数据 在 
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用 户 服务 优化 与 提升 方面 的 应 用 涉及 业 扩 报 装 、 停 电 管理 、 客 户 服 务 、 能 效 评估 、 需 求 测 
管 和 电动 汽车 充电 站 建设 等 领域 。 


3. 服务 社会 和 政府 方面 的 应 用 


电力 与 国民 经 济 发 展 密切 相关 ， 电 力 需 求 变化 能 够 真实 、 客 观 地 反映 国民 经 济 的 发 展 
状况 与 态势 。 通 过 分 析 地 区 、 行 业 、 企 业 、 居 民 的 用 电信 息 ， 并 与 电价 、 补 贴 、 能 耗 指 标 
等 相关 联 ， 有 助 于 政府 和 社会 更 好 地 了 解 和 预测 区 域 和 行业 发 展 状况 、 用 能 状况 以 及 各 种 
政策 措施 的 执行 效果 ， 为 政府 就 产业 调整 、 经 济 调控 等 做 出 合理 决策 提供 依据 。 用 户 用 电 
数据 、 电 动 汽车 充电 站 充 放电 数据 以 及 包含 新 能 源 和 分 布 式 能 源 在 内 的 发 电 数 据 也 是 政府 
优化 城市 规划 、 发 展 智慧 城市 、 合 理 部 署 电动 汽车 充电 设施 的 重要 依据 。 


10.2 ”电力 大 数据 服务 理念 


数据 是 信息 化 的 核心 ， 建 设 全 业务 统一 数据 中 心 是 破解 企业 数据 共享 难题 的 重要 途 
径 ， 对 于 推进 源 端 业 务 融 合 ， 提 升 数 据 质量 、 增 强 数 据 共享 ， 提 高 后 端 大 数据 分 析 应 用 水 
平 ， 推 进 信息 化 企业 建设 具有 重大 意义 。 

电力 企业 大 数据 应 用 的 关键 不 是 “大 ”和 “数据 ”， 其 核心 价值 是 将 数据 视 作 与 人 财 
物 一 样 的 企业 核心 资产 ， 让 资产 创造 价值 。 与 传统 数据 挖掘 分 析 的 区 别 是 它 通过 采用 新 的 
采集 、 存 储 和 处 理 技术 ， 实 现 跨 业 务 、 多 类 型 、 实 时 快速 、 灵 活 定制 的 数据 关联 分 析 ， 满 
足 企 业 在 电网 生产 、 经 营 管理 、 优 质 服务 三 方面 的 管理 提升 和 业务 创新 需求 。 由 于 涉及 的 
应 用 众多 ， 对 计算 、 存 储 、 网 络 等 性 能 提出 了 较 高 要 求 ， 因 此 需要 构建 面向 电力 企业 应 用 
的 统一 大 数据 处 理 平台 。 

电力 大 数据 服务 核心 理念 是 建成 “模型 规范 统一 、 数 据 干 净 透 明 、 分 析 灵 活 智 能 ”的 
全 业务 统一 数据 中 心 ， 实 现 面向 全 业务 范围 、 全 数据 类 型 、 全 时 间 维 度数 据 的 统一 存储 、 
管理 与 服务 。 通 过 强化 统一 数据 模型 与 企业 级 主 数据 的 全 面 应 用 与 管控 ， 保 证 数据 的 一 致 
性 与 可 共享 。 通 过 改善 业务 集成 ， 消 除数 据 元 余 ， 归 并 整合 业务 系统 ， 实 现 源 端 业务 系统 
数据 逻辑 统一 、 分 布 合理 、 干 净 透 明 。 通 过 汇总 、 清 洗 、 转 换 全 业务 数据 ， 构 建 统一 数据 
分 析 服务 ， 实 现 跨 专 业 数据 的 高 效 计算 、 智 能 分 析 和 深度 挖掘 。 


10.2.1 电力 大 数据 服务 分 类 


电力 大 数据 服务 将 数据 处 理 、 数 据 管理 、 数 据 分 析 分 离 ， 如 图 10.1 所 示 。 
@ 数据 处 理 服务 是 保障 数据 质量 的 关键 ， 是 提升 数据 应 用 水 平 的 基础 。 


基于 大 数据 的 智慧 电网 技术 


@ 数据 分 析 服务 是 挖 据 数 据 资源 价值 ， 提 升 数据 应 用 水 平 的 核心 
@ 数据 管理 服务 是 实现 数据 规范 、 统 一 、 安 全 的 关键 和 保障 。 


会 


全 业务 统一 数 所 中 心 。。 


图 10.1 电力 大 数据 服务 分 类 示意 图 
(1) 数据 管理 服务 的 核心 是 统一 数据 模型 构建 、 企 业 级 主 数据 建设 与 应 用 ， 通 过 对 
数据 定义 、 存 储 、 使 用 的 统一 规划 和 管控 ， 为 跨 专 业 、 跨 系统 数据 集成 与 应 用 提供 支撑 。 
实现 模型 规范 统一 和 主 数据 唯一 ， 保 证 全 公司 范围 内 数据 的 一 致 性 、 准 确 性 和 可 用 性 。 
@ 通过 统一 数据 模型 的 完善 设计 及 全 面 履 盖 ， 解 决 系统 间 数 据 模型 不 一 致 ， 跨 专业 
数据 应 用 困难 的 问题 。 
@ 强化 企业 级 主 数据 管理 ， 实 现 主 数据 的 全 面 深 化 应 用 ， 解 决 同 源 数 据 重复 录入 ， 
数据 编码 不 统一 的 问题 。 
@ 充分 发 挥 主 数据 管理 平台 的 作用 ， 实 现 核心 业务 主 数据 的 统一 管理 和 维护 ， 确 保 
“ 源 端 唯一 、 一 处 维护 、 多 处 使 用 ”。 
(2) 数据 处 理 域 〈( 见 图 10.2) 是 公司 生产 经 营 管理 过 程 中 各 类 业务 数据 存储 、 处 
理 、 融 合 的 中 心 ， 是 原 业 务 系统 各 个 分 散 数据 库 的 归并 、 发 展 与 提升 ， 为 公司 各 业务 应 用 
提供 逻辑 统一 的 数据 存储 ， 主 要 包括 业务 处 理 数据 库 与 统一 数据 访问 服务 两 部 分 。 
@ 通过 构建 统一 数据 访问 服务 ， 隔 离 应 用 与 数据 库 的 直接 连接 ， 实 现 全 业务 数据 的 
便捷 访问 ， 解 决 跨 专 业 数据 共享 与 使 用 困难 问题 。 
@ 改变 原 数据 复制 的 业务 集成 方式 为 共享 使 用 方式 ， 结 合 统一 数据 模型 和 主 数据 ， 
消除 数据 元 余 ， 提 高 跨 专 业 数 据 一 致 性 与 时 效 性 。 
@ 遵循 统一 数据 架构 ， 按 公司 主 营 业务 划分 ， 逐 步 融合 、 归 并 现 有 业务 系统 ， 形 成 
逻辑 统一 的 业务 处 理 数据 库 。 解 决 现 有 一 系统 一 数据 库 ， 业 务 数据 分 散 、 兄 余 存 
储 ， 缺 乏 统一 有 效 管 控 的 问题 。 
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* 企业 级 : 适当 数量 的 企业 级 ( 子 ) 系统 (如 基建 、 技 改 、 科 技 项 目 管理 ) 
一 系统 * 充分 集成 : 充分 的 流程 集成 ， 业 务 真正 贯通 
“* 信息 模型 : 企业 级 信息 模型 得 到 充分 应 用 


- 百 一 
- 适应 变化 :快速 适应 业务 变化 


微 应 用 “快速 构建 : 快速 构建 、 测 试 、 发 布 和 运行 ， 允 许 众 筹 和 客户 构建 
* 局 部 调整 :便于 开展 局 部 的 优化 、 升 级 、 调 整 


2 AR SLS 
心 : 围绕 使 用 的 “人 ”〔 岗 位、 角色、 场景 ) 构建 个 人 工作 台 ， 
数据 、 仪 表 板 、 任 务 ， 形 成 个 人 驾驶 舱 
个 人 可 灵活 组 合 
: 打破 系统 、 业 务 、 部 门 边界 ， 重 点 关注 场景 和 应 用 组 合 


注 服 务 ， 通 过 良好 定义 的 服务 接口 实现 组 件 化 
=， 适当 的 颗粒 度 


组件 化 


图 10.2 ”数据 处 理 域 
(3) 数据 分 析 服 务 是 全 业务 、 全 类 型 、 全 时 间 维 度数 据 的 汇集 中 心 ， 与 处 理 域 的 数 
据 保 持 实时 一 致 ， 为 公司 各 类 分 析 决 策 类 应 用 提供 完备 的 数据 资源 、 高 效 的 分 析 计 算 能 力 
及 统一 的 运行 环境 ， 如 图 10.3 所 示 。 它 提供 灵活 智能 的 分 析 服 务 ， 实 现 “ 搬 数据 ”向 “ 搬 
计算 ”的 转变 。 


因 到 所 接口 服 务 到 天 和 所 区 分 玉 
数据 存 取 服务 控 据 建 模 工具 ”分析 场景 发 布 


析 数据 计算 服务 模型 运行 引擎 可 视 化 设计 器 
跨 库 查询 服务 ， 挖掘 算法 库 业务 建 模 
图 10.3 ”数据 分 析 服务 
统一 分 析 服务 面向 公司 各 类 分 析 决 策 类 应 用 ， 提 供 标 准 化 、 规 范 化 数据 查询 、 计 算 、 
分 析 服 务 ， 支 撑 公 司 各 类 分 析 应 用 快速 构建 ， 同 时 屏蔽 底层 不 同 平台 差异 ， 实 现 平台 和 应 
用 解 耦 。 


10.2.2 ”电力 大 数据 服务 宗旨 


电力 大 数据 的 服务 宗旨 是 破解 企业 数据 共享 难题 的 重要 途径 ， 对 于 推进 源 端 业务 融 
合 ， 提 升 数据 质量 、 增 强 数据 共享 ， 提 高 后 端 大 数据 分 析 应 用 水 平 ， 为 电力 业务 各 类 分 析 
应 用 提供 统一 的 数据 支撑 ， 推 进 信息 化 企业 建设 具有 重大 意义 。 


基于 大 数据 的 智慧 电网 技术 


10.3 ”电力 大 数据 经 济 可 行 性 


维克托 。 迈 尔 托 ，。 合 恩 伯 格 曾 在 《大 数据 时 代 : 生活 、 工 作 、 思 维 的 大 变革 》 一 书 中 
前 瞻 性 地 指出 ， 大 数据 带 来 的 信息 风暴 正在 变革 我 们 的 生活 、 工 作 和 思维 ， 大 数据 开启 了 
一 次 重大 的 时 代 转 型 。 作 为 正 向 能 源 互联 网 转型 的 传统 电力 行业 ， 大 数据 及 云 计算 时 代 的 
到 来 将 为 传统 电力 行业 的 发 展 注入 新 的 活力 ， 传 统 电 力行 业 有 可 能 产生 革命 性 的 变化 。 

电力 大 数据 主要 来 源 于 电力 生产 和 电能 使 用 的 发 电 、 输 电 、 变 电 、 配 电 、 用 电 和 调 
度 各 个 环节 ， 可 大 致 分 为 3 类 : 一 是 电网 运行 和 设备 检测 或 监测 数据 ， 二 是 电力 企业 营销 
数据 ， 如 交易 电价 、 售 电量 、 用 电 客 户 等 方面 的 数据 ; 三 是 电力 企业 管理 数据 。 通 过 使 用 
智能 电表 等 智能 终端 设备 可 采集 整个 电力 系统 的 运行 数据 ， 再 对 采集 的 电力 大 数据 进行 系 
统 的 处 理 和 分 析 ， 从 而 实现 对 电网 的 实时 监控 ;进一步 地 ， 结 合 大 数据 分 析 与 电力 系统 模 
型 ， 可 以 对 电网 运行 进行 诊断 、 优 化 和 预测 ， 为 电网 安 人 全、 可靠、 经济 、 高 效 地 运行 提供 
保障 ， 如 图 10.4 所 示 。 


图 10.4 电力 大 数据 的 采集 、 监 控 和 分 析 
云 计算 、 大 数据 分 析 等 信息 新 技术 必 将 激活 电力 大 数据 中 蕴含 的 价值 ， 也 必 将 释放 电 
力 大 数据 的 市 场 潜力 。 根 据 GTM Research 的 研究 分 析 ， 到 2020 年 ， 全 世界 电力 大 数据 管理 
系统 市 场 规模 将 达到 38 亿 美元 ， 电 力 大 数据 的 采集 、 管 理 、 分 析 与 服务 行业 将 迎 来 前 所 未 
有 的 发 展 机 遇 。 


10.3.1 升级 运营 管理 ， 节 约 规划 成 本 


电力 系统 是 实现 电能 生产 、 传 输 、 分 配 和 消费 瞬时 平衡 的 复杂 大 系统 ， 智 能 电网 更 
需 进一步 实现 各 类 新 能 源 、 分 布 式 能 源 、 各 种 储 能 系统 、 电 动 汽车 和 用 户 侧 系统 的 接 入 ， 
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并 借助 信息 通信 系统 对 其 进行 集成 ， 实 施 高 效 的 管理 和 运行 。 借 助 大 数据 技术 ， 可 对 电网 
运行 的 实时 数据 和 历史 数据 进行 深层 挖掘 分 析 ， 掌 握 电网 的 发 展 和 运行 规律 ， 优 化 电网 规 
划 ， 实 现 对 电网 运行 状态 的 全 局 掌控 和 对 系统 资源 的 优化 控制 ， 提 高 电网 的 经 济 性 、 安 全 
性 和 可 靠 性 。 

基于 天 气 数据 、 环 境 数据 、 输 变 电 设备 监控 数据 ， 可 实现 动态 定 容 、 提 高 输电 线路 利 
用 率 ， 提 升 输 变 电 设备 运 检 效 率 与 运 维 管理 水 平 ， 基 于 调度 数据 、 仿 真 计算 历 史 等 数据 ， 
可 以 分 析 电 网 安全 稳定 性 的 时 空 关 联 特性 ， 建 立 电网 知识 库 ， 在 电网 出 现 扰动 后 ， 快 速 预 
测 电网 的 运行 稳定 性 ， 并 及 时 采取 措施 ， 可 有 效 提 高 电网 的 安全 稳定 性 ， 从 而 能 够 预防 不 
必要 的 设备 故障 和 提高 供电 传输 的 利用 率 ， 同 时 也 给 电网 带 来 了 经 济 上 的 节约 。 

电力 行业 既是 优质 清洁 能 源 的 创造 者 ， 又 是 一 次 能 源 消耗 的 大 户 ， 因 而 也 是 国家 实施 
节能 减 排 的 重点 领域 。 结 合 能 源 大 数据 、 信 息 通 信 与 工业 制造 技术 ， 通 过 对 能 源 供给 、 消 
费 、 移 动 终端 等 不 同 数据 源 的 数据 进行 综合 分 析 ， 设 计 开发 出 节能 环保 产品 ， 为 用 户 提供 
低 消 费 、 高 能 效 的 能 源 使 用 与 生活 方式 。 

以 智能 家 居 产 品 为 例 ， 智 能 家 居 产 品 不 仅 可 以 为 居民 用 户 提供 节能 降 费 的 服务 ， 还 可 
对 能 源 企业 尤其 是 电力 企业 改善 用 户 侧 需 求 管 理 、 减 少 发 电 装机 等 方面 发 挥 作用 。 现 实 中 
电网 企业 不 一 定 必 须 具备 产品 研发 优势 ， 可 利用 电力 数据 采集 与 分 析 方 面 的 优势 ， 或 通过 
与 设备 制造 商 合 作 改进 用 户 需求 侧 管 理 ， 或 通过 共同 参与 研发 在 产品 销售 中 获取 收益 。 


10.3.2 ”改善 用 户 用 电 体 验 


用 户 端的 数据 是 一 个 待 挖掘 的 金 矿 。 大 数据 将 各 行业 的 用 户 、 供 电 服务 、 发 电 商 、 设 
备 厂商 融入 一 个 大 环境 中 ， 促 成 了 电网 企业 对 用 户 的 需求 感知 ， 依 据 数 据 的 分 析 来 进行 运 
行 调度 、 资 源 配 置 决策 ， 并 基于 分 析 来 匹配 服务 需求 。 用 户 扮演 的 角色 越 来 越 重 要 ， 不 仅 
可 以 对 内 部 实现 能 源 的 成 产 和 消费 管理 ， 实 现 能 源 交 易 ， 还 将 对 外 参与 需求 响应 或 作为 虚 
拟 电站 参与 调度 运行 。 促 进 用 户 与 电网 的 互动 是 提高 大 电网 灵活 性 ， 进 而 提高 其 接纳 大 规 
模 间 歇 性 新 能 源 的 有 效 途径 。 了 解 用 户 用 电 特 性 ， 制 定 有 效 的 政策 和 市 场 机 制 是 有 效 激励 
用 户 改善 能 效 ， 参 与 需求 响应 、 需 求 调度 的 途径 。 

根据 用 户 用 电 情 况 、 用 户 分 布 式 发 电 、 储 能 系统 和 电动 汽车 的 应 用 情况 ， 结 合用 户 特 
征 数据 和 社会 环境 数据 ， 可 以 分 析 和 预测 用 户 的 能 源 生产 和 消费 特征 ， 为 电网 规划 和 运行 
方式 安排 提供 参考 ， 实 现 与 用 户 的 高 效 互 动 ， 提 高 用 户 侧 能 效 水 平 ， 改 善 用 户 用 电 体验 ， 
提高 用 户 满意 度 。 


10.3.3 ”提供 政府 决策 支持 


电网 作为 载体 承载 着 能 源 与 用 能 两 大 主体 ， 它 关联 着 诸多 因素 。 今 天 的 能 源 政策 与 机 
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制 应 超出 基于 因果 关系 和 条 件 评估 的 判断 ， 需 要 以 数据 为 基础 、 关 联 数据 分 析 为 依据 的 决 
策 。 例 如 ， 电 价 特别 是 阶梯 电价 的 定位 ， 需 基于 综合 用 能 行为 数据 和 生产 、 生 活 各 因素 以 
及 电力 生产 成 本 等 多 因素 进行 数据 分 析 ， 才 能 有 效 激 活 各 个 要 素 ， 实 现 最 佳 效 果 。 在 如 新 
能 源 、 分 布 式 能 源 、 电 动 汽车 、 需 求 响应 等 技术 的 大 规模 实施 ， 不 仅 取决 于 技术 成 熟 度 和 
经 济 性 ， 还 取决 于 能 源 政策 和 各 种 激励 机 制 是 否 有 效 。 能 源 政 策 和 激励 机 制 是 否 有 效 ， 通 
常 并 没有 普遍 性 ， 而 应 符合 本 国 的 实际 ， 符 合 精准 的 感知 和 预测 。 

此 外 ， 电 力 与 经 济 发 展 、 社 会 稳定 和 群众 生活 密切 相关 ， 电 力 需 求 变化 能 够 真实 、 客 
观 地 反映 国民 经 济 的 发 展 情况 与 态势 。 通 过 分 析 用 户 用 电 数 据 和 新 能 源 发 电 数 据 等 信息 ， 
电网 企业 可 为 政府 了 解 全 社会 各 行业 发 展 状况 、 产 业 结 构 布 局 、 预 测 经 济 发 展 走势 提供 数 
据 支持 ， 为 相关 部 门 在 城市 规划 建设 、 推 广 新 能 源 和 电动 汽车 、 促 进 智慧 城市 发 展 等 方面 
提供 辅助 决策 。 


10.3.4 助力 未 来 电网 发 展 


国家 电网 公司 站 在 全 球 能 源 发 展 的 高 度 ， 提 出 了 全 球 能 源 互 联网 发 展 蓝图 ， 以 最 大 
化 地 开发 利用 新 能 源 ， 实 现 能 源 资源 在 全 球 范围 的 优化 配置 。 未 来 电网 具有 长 距离 、 广 范 
围 、 泛 在 智能 和 共享 互联 的 特点 ， 将 发 生 电网 运行 机 制 与 商业 模式 的 重 构 。 在 庞大 而 广泛 
的 未 来 电网 中 ， 将 呈现 电源 多 样 性 、 遍 布 性 、 时 移 性 、 负 荷 移动 性 、 互 动 性 ， 用 能 终端 大 
量 信息 接 入 ， 各 类 管理 终端 大 量 介 入 ， 要 求 电网 具有 和 柔性 和 自 适 应 能 力 ， 以 满足 送 受 端的 
时 间 、 空 间 和 方式 的 多 重复 杂 性 。 在 这 种 情况 下 ， 依 靠 传统 的 状态 信号 指令 无 法 完成 决 
策 ， 需 要 复杂 的 负荷 预测 、 分 析 及 实时 呈现 ， 需 要 以 大 量 的、 多 维 的 、 高 密度 的 数据 来 支 
撑 预 测 、 预 警 、 机 器 决策 和 人 工 判断 。 在 智能 电网 向 更 高 阶段 发 展 过 程 中 ， 地 域 更 加 广 
泛 ， 需 基于 全 球 数据 实现 能 源 电力 大 范围 平衡 来 保障 电网 及 其 他 系统 的 安全 ， 这 也 是 大 数 
据 对 电网 发 展 与 未 来 电网 目标 实现 路 径 的 支撑 。 


10.4 ”电力 大 数据 运营 管理 服务 


10.4.1 管理 服务 的 核心 思想 


数据 管理 域 的 核心 是 统一 数据 模型 构建 、 企 业 级 主 数据 建设 与 应 用 ， 通 过 对 数据 定 
义 、 存 储 、 使 用 的 统一 规划 和 管控 ， 为 跨 专 业 、 跨 系统 数据 集成 与 应 用 提供 支撑 。 实 现 模 
型 规范 统一 和 主 数据 唯一 ， 以 保证 全 公司 范围 内 数据 的 一 致 性 、 准 确 性 和 可 用 性 。 
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通过 统一 数据 模型 的 完善 设计 及 全 面 覆盖 ， 解 决 系统 间 数 据 模型 不 一 致 、 跨 专业 数据 
应 用 困难 的 问题 ， 强 化 企业 级 主 数据 管理 ， 实 现 主 数据 的 全 面 深化 应 用 ， 解 决 同 源 数据 重 
复 录 入 ， 数 据 编码 不 统一 的 问题 ， 充 分 发 挥 主 数据 管理 平台 的 作用 ， 实 现 核心 业务 主 数据 
的 统一 管理 和 维护 ， 确 保 “ 源 端 唯一 、 一 处 维护 、 多 处 使 用 ”。 


10.4.2 ”规范 数据 统一 管理 


电力 大 数据 管理 提供 统一 规范 数据 结构 服务 ， 提 供 统一 数据 模型 。 对 电力 大 数据 实施 
集中 的 、 统 一 的 、 全 面 的 “仓储 式 管理 ”， 提 供 一 站 式 服务 。 

加 强 内 、 外 部 数据 的 “仓储 式 ” 管 理 。 对 电力 企业 来 说 ， 数 据 无 处 不 在 ， 无 时 不 有 ， 
究 其 来 源 ， 无 非 企 业内 部 和 外 部 两 个 渠道 。 内 部 数据 的 源头 是 各 单位 、 各 部 门 、 各 专业 的 
统计 报表 提供 的 数据 ;外 部 数据 一 方面 是 国家 管理 部 门 、 行 业 管理 部 门 、 权 威 机 构 等 发 布 
的 统计 数据 ， 另 一 方面 是 来 自 互联 网 、 移 动 互联 网 、 各 种 传感器 等 信息 感知 和 采集 终端 采 
集 的 数据 。 这 些 数据 ， 日 积 月 累 ， 最 终 “ 百 川 归 海 ”， 汇 成 大 数据 的 海洋 。 大 数据 时 代 ， 
企业 通过 建立 “大 数据 管理 智库 ”， 打 破 渠 道 的 边界 ， 把 不 同 来 源 的 数据 整合 在 一 起 ， 实 
施 “ 仓 储 式 管理 ”， 让 数据 为 电力 企业 所 用 。 

注重 数据 挖掘 环节 的 “仓储 式 ” 管 理 。 企 业 数据 挖掘 过 程 中 有 4 个 重要 环节 : 采 
集 、 存 储 、 分 析 和 预测 。 企 业 建 立 了 “大 数据 管理 智库 ”， 对 这 4 个 环节 实施 “仓储 式 管 
理 ”， 可 以 大 大 “提纯 ”数据 价值 : 一 是 尽 可 能 采集 异 源 甚至 是 异 构 的 数据 ， 去 伪 存 真 ， 
多 角度 验证 数据 的 全 面 性 和 可 信 性 ， 二 是 要 用 到 宛 余 配置 、 分 布 化 和 云 计算 技术 ， 分 类 、 
过 滤 和 去 重 ， 减 少 存储 量 ， 同 时 加 入 便于 检索 的 标签 ; 三 是 将 高 维 数据 降 维 后 度量 与 处 
理 ， 利 用 上 下 文 关联 进行 语义 分 析 ， 从 大 量 动态 而 且 可 能 是 模棱两可 的 数据 中 综合 信息 ， 
导出 可 理解 的 内 容 ， 四 是 将 数据 分 析 后 预测 出 的 结论 应 用 到 企业 中 去 。 大 数据 的 核心 就 是 
分 析 和 预测 。 

电力 企业 推进 大 数据 管理 是 一 项 前 所 未 有 的 、 艰 苦 卓 绝 的 、 规 模 宏伟 的 系统 工程 ， 面 
临 着 技术 、 管 理 等 多 重 挑战 ， 包 括 大 数据 管理 与 传统 数据 管理 及 现代 管理 工具 的 完美 对 接 
和 相互 融合 ， 生 态 环境 要 求 很 高 。 因 此 ， 营 造 “ 大 数据 管理 融合 ”新 生态 是 构筑 这 个 系统 
工程 的 重 中 之 重 。 大 数据 发 媚 于 信息 化 建设 ， 伴 随 着 信息 化 建设 的 进程 同步 成 长 ， 但 同时 
又 遵循 自身 发 展 的 规律 ， 自 成 一 体 。 


10.4.3 ”统一 对 外 服务 管理 


电力 大 数据 运营 管理 提供 统一 的 对 外 服务 平台 ， 数 据 以 固定 的 形式 统一 对 外 提供 及 展 
示 ， 做 到 数据 对 外 统一 化 。 统 一 对 外 服务 面向 公司 各 类 分 析 决 策 类 应 用 ， 提 供 标准 化 、 规 
范 化 的 数据 查询 、 计 算 、 分 析 服务 ， 支 撑 公 司 各 类 分 析 应 用 快速 构建 ;同时 屏蔽 底层 不 同 
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平台 差异 ， 实 现 平台 和 应 用 结合 。 

(1) 数据 统一 汇总 : 电力 业务 部 分 数据 的 全 量 汇 总 、 各 部 门 、 各 系统 的 业务 数据 全 
量 接 入 ， 为 各 类 应 用 提供 统一 的 数据 支撑 管理 。 

(2) 平台 统一 支撑 管理 :为 各 类 分 析 应 用 提供 统一 的 平台 支撑 管理 ， 各 部 门 、 各 类 
型 的 分 析 应 用 基于 分 析 构 建 。 

(3) 模型 统一 设计 管理 :数据 清洗 转换 后 按照 统一 的 数据 模型 存储 ， 为 各 类 分 析 应 
用 提供 统一 的 数据 支撑 。 


10.5 ”电力 大 数据 供应 链 管理 服务 


供应 链 管理 诞生 于 20 世 纪 80 年 代 中 期 ， 最 先是 在 制造 业 中 广泛 应 用 ， 后 来 逐渐 发 展 成 
为 一 种 新 的 管理 模式 。 直 到 20 世 纪 90 年 代 中 后 期 ， 供 应 链 管 理 这 个 概念 由 国外 一 些 跨国 公 
司 传 和 我国， 我国 才 开始 了 有 关 供 应 链 管理 方面 的 研究 与 实践 。 供 应 链 管理 是 以 企业 的 供 
应 链 为 中 心 ， 通 过 供应 链 管 理 ， 让 客户 以 最 少 的 成 本 获得 最 大 的 经 济 效益 ， 达 到 缩短 企业 
资金 周转 时 间 、 实 现 企业 友 利 增长 、 减 低 企 业 风 险 等 目的 。 

在 电力 生产 环节 ， 风 光 储 等 新 能 源 的 大 量 接 入 ， 打 破 了 传统 相对 静态 的 电力 生产 局 
面 ， 使 得 电力 生产 的 计量 和 管理 变 得 日 趋 复杂 。 其 次 ， 电 能 的 不 可 储存 性 使 得 电力 工业 面 
临 极其 复杂 的 安全 形势 。 在 电力 经 营 环 节 ， 随 着 下 一 代 电 力 系统 的 逐步 演进 ， 高 度 灵活 的 
数据 驱动 的 电力 供应 链 将 逐步 取代 传统 的 电力 供应 链 。 

电力 大 数据 时 代为 电力 系统 供应 链 带 来 了 新 的 机 会 和 挑战 ， 电 网 供应 链 的 经 营 与 管理 
必须 紧密 对 接 大 数据 时 代 发 展 的 特征 。 


10.5.1 企业 供应 链 管理 


1. 供应 链 管理 的 内 涵 


每 一 个 企业 都 处 在 一 个 相应 的 供应 链条 上 ， 所 有 的 产品 必须 通过 相应 的 渠道 才能 最 终 
到 达 客 户 的 手中 ， 供 应 链 管 理 以 整个 供应 链 作为 管理 对 象 ， 通 过 协调 和 优化 供应 链条 上 的 
各 个 环节 ， 降 低 生产 成 本 ， 为 客户 创造 更 高 的 利润 ， 从 而 达到 整个 供应 链 的 整体 最 大 利益 
化 ， 实 现 企业 的 共 赢 。 


2. 供应 链 管 理 的 目标 和 目的 
企业 采用 供应 链 管理 的 最 终 目 的 是 为 了 降低 企业 生产 成 本 、 提 高 客户 满意 程度 、 提 升 
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企业 产品 流程 和 服务 质量 ， 让 供应 商 和 制造 商 能 够 达成 战略 合作 伙伴 关系 ， 实 现 双 赢 。 


10.5.2 电网 供应 链 结构 


中 国 从 2000 年 开始 进行 的 电力 体制 改革 ， 主 要 任务 是 推进 “ 厂 网 分 离 ”， 将 电力 传 
输 、 配 电 等 业务 从 原来 的 国家 电力 公司 中 剥离 ， 并 组 建 电 网 公司 运营 相关 业务 ， 同 时 各 个 
发 电厂 也 被 重新 划分 ， 形 成 大 唐 、 中 电 投 、 国 电 、 华 电 、 华 能 五 大 “发 电 集团 ”。 电 网 行 
业 相 对 从 电力 系统 中 独立 出 来 ， 但 是 我 国电 网 行业 仍然 属于 国家 管控 的 垄断 性 行业 ， 采 取 
大 集团 化 的 垂直 管理 体系 。 这 也 是 由 于 电力 是 保证 社会 生产 生活 运行 的 基本 供应 能 源 ， 需 
要 政府 管控 ， 特 别 是 在 电力 供应 和 电价 制定 上 。 

电网 行业 的 经 营业 务 既 包括 电力 输送 和 买卖 ， 又 包括 电网 建设 和 维护 ， 供 应 链 结构 复 
杂 ， 大 致 可 以 分 为 物资 供应 链 和 电力 供应 链 。 

电力 供应 链 : 主要 由 上 游 的 发 电 集团 制造 电能 ， 中 间 电 网 集团 传输 电能 ， 外 部 客户 使 
用 电能 。 电 网 集团 的 网 省 公司 主要 业务 是 从 发 电 公司 购 电 ， 而 下 级 分 公司 的 主要 业务 是 面 
对 外 部 客户 售 电 ， 省 公司 和 分 公司 的 业务 活动 是 电网 集团 公司 的 主 营利 润 来 源 。 电 力 供应 
链 的 结构 较为 复杂 ， 受 国家 政策 管控 较 多 ， 主 要 研究 一 般 集中 在 购 电 和 售 电 价格 决策 上 。 

物资 供应 链 ， 物资 供应 链 主 要 为 保障 电网 建设 和 维护 ， 而 电网 稳定 又 是 保障 电能 传输 
的 基础 ， 因 此 物资 供应 链 是 电网 行业 中 十 分 重要 的 供应 链 。 由 于 电网 的 垄断 性 特征 ， 电 网 
集团 公司 处 于 物资 供应 链 的 绝对 核心 地 位 。 与 传统 制造 业 供应 链 不 同 ， 电 网 行业 物资 供应 
链 的 核心 企业 位 于 供应 链 的 下 游 ， 不 从 事 生产 制造 业务 ， 而 主要 是 对 物资 的 采购 、 仓 储 、 
配送 等 业务 。 同 时 ， 由 于 电网 行业 的 垂直 管理 和 垄断 性 ， 所 服务 的 下 游客 户主 要 是 集团 公 
司 内 部 客户 ， 例 如 下 属 分 公司 、 电 网 建设 项 目 主管 部 门 等 ， 因 此 物资 供应 链 节点 除 物资 供 
应 商 外 ， 大 部 分 属于 电网 集团 公司 内 部 供应 链 ， 涉 及 集团 公司 内 多 个 部 门 ， 核 心 主体 部 门 
是 物资 部 。 


10.5.3 ”大 数据 分 析 在 供应 链 中 的 应 用 


1. 电力 企业 供应 链 大 数据 来 源 


电力 企业 的 物质 供应 链 主 要 包括 需求 计划 、 招 标 采购 、 合 同 签订 、 合 同 履行 、 合 同 结 
算 五 大 环节 。 首 先 ， 项 目 单位 提出 物资 需求 ， 由 物资 供应 管理 单位 经 过 审核 、 筛 选 、 打 包 
形成 需求 计划 ， 主 要 包括 所 需 物资 的 需求 事件 、 需 求 地 点 、 需 求 物资 等 内 容 。 将 现 有 物资 
与 需求 计划 相 匹 配 、 供 货 的 过 程 ， 被 称 为 平衡 利 库 。 招 标 采 购 是 将 平衡 利 库 无 法 满足 的 需 
求 计划 通过 公开 招标 、 竞 争 性 谈判 等 方式 进行 采购 ， 确 定 中 标 供应 商 。 在 合同 签订 环节 ， 
电力 物资 供应 商 管理 单位 依据 中 标 结果 与 供应 商 签订 合同 。 之 后 进入 合同 履行 环节 ， 主 要 
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包括 制定 物资 供应 计划 、 跟 进 供应 商 生 产 进度 、 俊 缴 货 、 入 库 验 收 管理 。 最 后 在 合同 结算 
环节 进行 履约 保函 管理 、 发 票 管理 、 付 款 和 结算 管理 。 

电力 大 数据 可 以 将 电网 供应 链 信息 聚合 ， 从 产品 设计 、 采 购 、 物 流 等 各 个 环节 ， 通 过 
大 数据 技术 对 整个 电网 供应 链 进 行 有 效 控制 、 管 理 ， 及 时 掌握 电力 企业 的 库存 量 、 物 资 采 
购 完 成 情况 等 信息 。 电 力 业务 在 发 展 扩张 过 程 中 ， 可 以 根据 供应 链 数据 信息 进行 成 本 的 业 
务 量 等 情况 分 析 ， 从 中 寻找 电力 业务 发 展 的 新 机 遇 。 通 过 优化 物流 供应 链 的 流程 ， 帮 助 电 
力 公司 进行 业务 建设 方面 的 决策 工作 ， 从 而 提高 核心 竞争 力 。 

电力 大 数据 聚合 供应 链 所 设计 的 信息 资源 范围 广泛 ， 信 息 种 类 繁多 ， 主 要 包括 : 

(1) 供应 链 成 员 的 信息 来 源 。 供 应 链 运营 管理 相关 的 运营 商 、 物 资 供应 管理 单位 、 
项 目 单位 等 节点 组 织 的 信息 资源 是 供应 链 信息 聚合 的 重要 来 源 。 

(2) 大 数据 的 网 络 信息 来 源 。 供 应 链 网 络 信息 聚合 的 来 源 ， 主 要 包括 电子 商务 平台 
(ECP) 、 资 产 全 寿命 管理 系统 (ERP) 、 财 务 付款 系统 的 数据 信息 。 

(3) 供应 链 其 他 组 织 相关 的 信息 来 源 。 供 应 链 信息 聚合 包括 网 络 平台 信息 以 外 的 信 
息 资 源 ， 不 仅仅 局 限于 网 络 资源 的 范畴 ， 而 是 从 多 渠道 、 多 维度 对 接 供应 链 运营 发 展 中 的 
各 类 信息 需求 ， 主 要 包括 合同 台 账 、 电 子 版 或 者 纸 质 版 合同 文本 、 合 同 扫描 件 等 资料 素 
材 ， 通 过 与 财务 管理 单位 、 项 目 管理 单位 、 建 设 管理 单位 、 上 级 管理 单位 等 供应 链 其 他 组 
织 的 沟通 协调 和 信息 共享 ， 实 现 大 范围 的 供应 链 信息 资源 聚合 ， 这 增加 了 供应 链 信息 聚合 
的 来 源 渠 道 ， 获 得 了 更 好 的 供应 链 信 息 聚 合 的 整体 效应 。 


2. 电力 大 数据 实现 供应 链 信 息 融 合 


电力 大 数据 通过 信息 萃取 、 信 息 整 合 、 信 息 优 化 3 个 步骤 实现 供应 链 数据 信息 的 聚合 
工作 。 

1) 信息 茜 取 

电力 大 数据 信息 茜 取 是 从 供应 链 运 营 管理 面临 的 大 数据 中 进行 信息 资源 的 收集 、 整 理 
与 分 析 ， 注 重 供应 链 网 络 知识 的 发 据 ， 获 取 供应 链 运 营 所 需 的 信息 以 及 信息 价值 。 信 息 茶 
取 不 仅 重 视 对 于 供应 链 运营 管理 的 各 个 环节 或 组 织 的 信息 分 析 与 处 理 ， 更 要 凸显 供应 链 大 
数据 的 发 扬 与 分 析 能 力 。 信 息 蔡 取 作为 供应 链 信息 聚合 的 重要 职能 ， 从 大 量 繁杂 的 数据 中 
萃取 出 有 效 、 有 序 、 精 炼 的 信息 ， 以 便 更 好 地 进行 数据 的 分 析 和 问题 研究 。 

2) 信息 整合 

电力 大 数据 信息 整合 主要 是 对 供应 链 运营 管理 中 的 相关 信息 进行 整合 处 理 的 过 程 。 通 
过 信息 整合 ， 把 供应 链 大 数据 运营 管理 的 各 类 信息 资源 构建 成 信息 整体 ， 体 现 了 供应 链 运 
营 相 关 信 息 资 源 的 从 “ 散 ” 到 “ 整 ”的 流程 。 信 息 整合 体现 了 供应 链 信息 聚合 中 的 对 各 类 
信息 进行 分 类 、 汇 总 、 归 纳 的 功能 ， 突 出 了 对 于 供应 链 运营 管理 零散 信息 的 处 理 分 类 、 信 
息 获 取 、 信 息 推理 等 能 力 ， 是 信息 蔡 取 步骤 的 重要 补充 。 供 应 链 大 数据 的 信息 聚合 ， 可 以 
有 效 整 合 供应 链 的 供应 商 、 项 目 管理 单位 、 建 设 管理 单位 以 及 财务 管理 单位 等 不 同 节点 的 
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信息 资源 。 

3) 信息 优化 

电力 大 数据 信息 优化 是 在 供应 商 运 营 管理 已 经 获得 的 信息 资源 基础 之 上 ， 进 一 步 对 
已 有 信息 资源 进行 梳理 、 分 析 ， 有 目的 地 采用 ， 实 现 了 相关 信息 资源 的 科学 合理 归 类 与 优 
化 处 理 。 供 应 链 信息 聚合 中 的 信息 优化 则 是 在 信息 整合 的 基础 上 ， 结 合 供应 链 各 个 相关 环 
节 、 组 织 、 单 位 的 实际 运营 需求 ， 对 于 相关 的 供应 链 信息 资源 进行 再 处 理 、 再 分 析 的 优化 
升级 过 程 。 在 大 数据 环境 中 ， 通 过 信息 优化 能 够 较 好 地 促进 供应 链 运营 管理 中 的 信息 处 理 
能 力 、 信 息 运用 能 力 以 及 信息 决策 能 力 的 提升 ， 实 现 供应 链 信息 资源 的 优化 运用 。 优 化 升 
级 后 的 信息 资源 应 用 于 供应 链 的 运营 管理 之 中 ， 以 实现 供应 链 运营 管理 更 好 的 效益 。 


3. 有 效 信息 聚合 ， 驱 动 智慧 供应 链 


电力 供应 链 管理 的 复杂 程度 不 断 加 深 ， 带 来 越 来 越 庞大 的 数据 量 ， 企 业 需 要 整合 并 优 
化 在 需求 计划 、 招 标 采 购 、 合 同 签订 、 合 同 履行 、 合 同 结算 等 一 系列 环节 的 信息 ， 改 善 供 
应 链 上 下 游 关系 ， 以 获得 竞争 优势 。 电 力 大 数据 在 供应 链 中 的 应 用 并 不 是 简单 地 将 订单 状 
态 、 履 约 情 况 、 付 款 进度 等 数据 可 视 化 ， 而 是 通过 有 效 的 信息 禁 取 、 整 合 和 优化 ， 对 数据 
资源 深入 挖掘 ， 并 充分 运用 至 企业 经 营 决策 与 实施 中 ， 通 过 获取 有 价值 的 数据 加 快 供应 链 
上 各 环节 的 运营 节奏 ， 提 高 企业 供应 链 整体 的 相应 速度 ， 以 推动 供应 链 成 为 企业 发 展 的 核 
心 竞争 力 ， 并 提升 供应 链 自 身价 值 ， 形 成 智慧 供应 链 。 


10.6 ”电力 大 数据 信息 安全 服务 


10.6.1 电力 大 数据 应 用 的 特征 


大 数据 本 身 具 有 4 个 典型 特征 : 容量 巨大 、 数 据 类 型 多 样 、 价 值 密度 低 、 处 理 难度 高 。 

电力 大 数据 应 用 主要 是 以 业务 应 用 为 主 ， 实 现 面向 典型 业务 场景 的 模式 创新 及 应 用 提 
升 。 电 力 大 数据 应 用 于 大 规划 ， 主 要 是 针对 电网 趋势 进行 预测 ， 通 过 用 电量 预测 、 空 间 负 
荷 预测 以 及 多 项 指标 关联 分 析 ， 进 行 综合 分 析 ， 从 而 支持 规划 设计 ; 电力 大 数据 应 用 于 大 
检修 ， 通 过 视频 检测 变电站 ， 实 时 准确 地 识别 多 种 表 计 、 刀 闻 、 开 关 与 隔离 开关 的 位 置 、 
状态 或 读数 ， 利 用 大 数据 技术 智能 分 析 视 频数 据 ， 从 而 代替 传统 的 传感器 ;电力 大 数据 应 
用 于 大 运行 ， 通 过 对 电网 调度 的 电网 设备 台 账 信息 、 设 备 拓扑 信息 、 设 备 遥 信 遥 测 相关 信 
息 的 历史 时 刻 查询 ， 预 测 分 析 未 来 状态 ， 为 设备 状态 管理 提供 完善 的 建议 ， 为 电网 调度 提 
供 辅助 决策 ， 电 力 大 数据 应 用 于 大 营销 ， 扩 展 面向 智能 化 、 互 动 化 的 服务 能 力 ， 面 向 用 电 
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信息 采集 、 计 量 、 收 费 和 服务 资源 ， 开 展 用 电 互动 服务 ， 实 时 反馈 用 电 、 购 电信 息 ， 例 如 
营销 微 信 平 台 、 营 销 手机 、 营 销 支 付 宝 等 。 

随 着 居民 用 电信 息 采 集 的 表 记 终端 数量 达到 上 亿 只 ， 供 电 电 压 自 动 采 集 接 入 电压 监测 
点 达到 上 万 个 ， 输 变 电 状 态 监测 装置 接 入 上 万 个 ， 监 测 数据 达到 上 千 万 条 ， 电 力 大 数据 的 
应 用 也 具有 了 数据 量 大 、 数 据 类 型 多 、 实 时 性 强 等 大 数据 的 典型 应 用 特征 。 

电力 大 数据 技术 的 应 用 给 传统 的 安全 防护 措施 带 来 了 巨大 挑战 ， 在 深化 完善 传统 安全 
防护 措施 的 同时 ， 需 着 力 开展 基于 电力 大 数据 的 安全 防护 框架 的 研究 ， 着 重 研究 电力 大 数 
据 安全 防护 环节 的 关键 技术 安全 防护 措施 ， 包 括 安全 技术 架构 研究 、 加 密 存 储 及 检索 技术 
研究 、 数 据 分 级 分 类 与 轨迹 跟踪 技术 研究 、 核 心 业 务 数据 屏蔽 技术 研究 。 


10.6.2 电网 大 数据 信息 安全 风险 


电力 大 数据 在 提升 行业 、 企 业 管 理 水 平和 经 济 效益 的 同时 ， 数 据 爆发 式 的 增长 也 给 数 
据 存储 、 分 析 处 理 、 统 计 计 算 带 来 极 大 的 挑战 ， 加 大 了 数据 在 产生 、 传 输 、 处 理 、 存 储 、 
应 用 和 运 维 管理 各 环节 的 安全 风险 。 数 据 在 产生 和 传输 过 程 中 存在 传输 中 断 、 被 恶意 窃 
听 、 伪 造 和 自 改 的 风险 ;数据 在 处 理 、 存 储 和 应 用 过 程 中 ， 面 临 着 部 分 用 户 越权 读 写 、 主 
机 物理 故障 等 风险 ， 内 部 运 维 控制 措施 不 当 也 会 带 来 风险 等 。 

除了 面临 上 述 传统 的 安全 风险 外 ， 电 力 大 数据 还 面临 新 技术 应 用 后 所 带 来 的 新 型 安全 
风险 。 高 级 持续 性 威胁 攻击 〈 长 时 间 窃 取 数 据 ) 就 是 这 种 新 型 风险 之 一 ， 其 典型 特点 就 是 
持续 时 间 长 ， 攻 击 者 对 于 防护 设备 进行 持续 地 试探 和 尝试 ， 不 断 研究 和 测试 攻击 目标 系统 
的 弱点 ， 一 旦 发 现 防护 短 板 ， 就 利用 各 种 技术 进行 攻击 。 这 不 仅 对 目前 信息 化 新 技术 应 用 
的 业务 系统 造成 巨大 威胁 ， 也 对 传统 的 信息 安全 防护 体系 提出 了 挑战 。 


10.6.3 ”电力 大 数据 信息 安全 架构 


新 技术 的 发 展 也 带动 信息 安全 发 展 趋势 从 面向 合 规 的 安全 向 面向 对 抗 的 安全 转变 ， 从 
消极 被 动 防御 到 积极 主动 防御 甚至 是 攻防 兼备 、 积 极 对 抗 的 转变 。100% 的 信息 安全 是 绝 
对 不 可 能 的 ， 但 是 可 以 主动 认识 潜在 的 威胁 和 敌人 ， 充 分 分 析 电 力 大 数据 技术 应 用 场景 下 
的 安全 风险 ， 具 备 先 发 臻 人、 主动 防御 能 力 ， 这 就 是 新 型 信息 安全 防御 体系 的 理念 。 将 该 
理念 融入 大 数据 信息 安全 分 析 中 ， 通 过 进一步 研究 数据 分 析 、 挖 掘 技术 ， 构 建 电力 大 数据 
信息 安全 分 析 架 构 。 

目前 ， 电 力 企业 已 经 建立 了 较为 全 面 安 全 的 防护 体系 ， 有 效 保障 各 信息 系统 安全 稳定 
运行 。 但 随 着 大 数据 技术 的 应 用 ， 传 统 的 安全 防护 框架 不 能 完全 满足 大 数据 环境 下 的 安全 
需求 。 需 充分 分 析 电 力 大 数据 技术 应 用 场景 下 的 安全 风险 ， 挖 掘 现 有 数据 安全 防护 中 的 缺 
陷 ， 设 计 制 定 电力 企业 大 数据 安全 防护 框架 并 措 建 测试 环境 ， 开 展 安全 性 验证 ， 为 建立 新 
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一 代数 据 服务 平台 提供 安全 保证 。 


1. 加 密 存 储 及 检索 技术 服务 


在 电力 大 数据 环境 下 ， 随 着 大 量 数据 的 集中 存储 ， 存 储 系统 在 保证 敏感 数据 机 密 性 的 
同时 ， 提 供 了 相应 的 加 密 共享 技术 。 通 过 电力 大 数据 环境 下 的 数据 存储 模式 ， 提 供 对 应 的 
数据 加 密 检索 技术 ， 能 够 有 效 确保 用 户 数据 的 机 密 性 和 完整 性 ， 提 高 密 钥 存储 的 安全 性 、 
分 发 的 高 效 性 及 加 密 策略 的 灵活 性 ， 实 现 信 息 的 安全 共享 。 


2. 数据 分 级 分 类 与 轨迹 跟踪 服务 


电力 大 数据 应 用 带 来 了 海量 数据 的 汇集 ， 这 些 数据 通常 没有 明确 的 使 用 权限 ， 这 就 
带 来 了 用 户 对 数据 的 越权 访问 等 隐患 。 电 力 大 数据 提供 了 在 分 析 研 究 电力 企业 管理 数据 流 
程 及 标准 的 基础 上 ， 结 合 企业 级 数据 资源 整合 及 一 级 数据 中 心 的 建设 ， 制 定 统一 的 数据 分 
级 、 分 类 标准 ， 明 确 各 级 别 数据 的 使 用 权限 ， 通 过 研究 涉 密 信息 数据 的 轨迹 跟踪 技术 ， 保 
证 重要 信息 数据 的 安全 。 


3. 敏感 数据 保护 服务 


电力 大 数据 信息 安全 服务 提供 了 对 电力 系统 数据 和 用 户 敏感 数据 的 采集 、 上 传 及 传播 
过 程 中 敏感 数据 泄露 风险 的 统一 策略 管理 、 统 一 事件 分 析 、 全 文 检索 及 维度 数据 审计 ， 对 
敏感 数据 信息 访问 行为 进行 告警 、 阻 断 、 跟 踪 等 服务 ， 有 效 实现 了 大 数据 环境 下 电力 数据 
多 层次 的 全 方位 敏感 数据 保护 。 


10.7 ”电力 大 数据 成 果 应 用 服务 


10.7.1 在 电网 财务 管理 中 的 应 用 


相 比 较 企业 内 外 部 的 其 他 类 型 的 数据 ， 财 务 数据 更 复杂 、 更 庞大 ， 因 此 包含 着 更 多 
的 宝贵 信息 。 例 如 ， 可 以 建立 数据 分 析 模 型 ， 对 会 计数 据 进行 分 析 和 信息 挖掘 ， 也 可 以 对 
成 本 、 费 用 、 收 入 、 利 润 等 进行 行业 比较 分 析 、 区 域 市 场 分 析 、 增 长 情况 分 析 等 ， 从 而 发 
现 经 济 的 近期 和 远 期 规律 ， 在 挖掘 市 场 潜 力 的 同时 ， 更 好 地 控制 行业 风险 ， 提 升 行业 竞争 
力 。 在 进行 模型 预测 的 基础 上 ， 利 用 全 面 预算 管理 解决 方案 ， 得 到 不 同时 期 、 不 同 产品 类 
别 的 明细 数据 情况 ， 便 于 企业 的 实际 和 预算 数据 进行 比较 ， 分 析 差 距 ， 找 到 解决 问题 的 方 
法 。 通 过 与 网 络 报销 、 费 用 控制 等 分 析 工 具 的 配合 ， 可 以 大 大 提高 财务 管控 能 力 ， 帮 助 企 
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业 实 现 战略 落地 。 

电网 公司 的 财务 管理 倡导 投资 管理 精益 化 ， 以 此 来 提高 投资 效率 ， 在 具体 的 数据 分 
析 方 面 ， 应 该 以 分 析 型 数据 为 基础 ， 科 学 配置 各 种 服务 资源 ， 构 建 营销 数据 分 析 模 型 。 另 
外 ， 为 了 对 各 级 数据 需求 者 提供 多 维 、 直 观 的 分 析 展 示 ， 应 建立 各 种 针对 营销 的 系统 性 算 
法 模型 库 ， 并 且 注 重 开发 多 样 性 的 数据 可 视 化 工具 ， 进 而 主动 把 握 市 场 动态 ， 为 企业 获得 
更 好 的 效益 、 为 顾客 提供 更 好 的 基础 做 好 铺垫 。 


10.7.2 在 电网 运营 中 的 应 用 


随 着 网 络 技术 的 发 展 ， 可 参考 的 社会 资讯 更 多 ， 为 预测 经 济 社会 发 展 、 能 源 发 展 、 用 
户 用 电 增 长 情况 提供 了 更 多 的 参考 渠道 。 用 户 用 电信 息 采 集 系 统 为 建立 分 类 负荷 特性 模型 
和 参数 提供 了 条 件 ， 应 用 大 数据 技术 ， 可 以 依据 这 些 数 据 对 发 电 和 负荷 做 出 更 为 科学 的 预 
测 。 电 网 运行 管理 的 首要 目标 是 保证 大 电网 的 安全 稳定 性 和 配 电 系统 的 供电 可 靠 性 。 我 国 
正在 形成 以 特 高 压 为 骨干 网 架 、 交 直流 混 联 的 复杂 大 电网 ， 系 统 的 结构 和 运行 方式 变 得 越 
来 越 复杂 ， 对 电网 的 调度 运行 、 安 全 稳定 控制 提出 了 更 高 要 求 ， 基 于 大 数据 开展 面向 在 线 
稳定 计算 需求 的 综合 分 析 处 理 技术 基础 性 研究 ， 从 众多 的 在 线 数据 中 自动 发 现 电 网 安全 运 
行 的 特征 与 规则 ， 为 运行 方式 安排 和 调度 决策 提供 理论 依据 ， 进 一 步 提升 大 电网 调度 运行 
在 线 安全 分 析 能 力 ， 增 强 电网 抵御 外 部 因素 对 安全 稳定 运行 影响 的 能 力 。 


10.7.3 在 配 电网 规划 上 的 应 用 


配 电网 需要 不 断 重复 校正 规划 ， 具 有 极 强 的 时 局 性 。 配 电网 可 以 通过 大 数据 对 生产 系 
统 数据 进行 深度 挖掘 ， 进 而 获得 更 多 的 真实 有 效 的 原始 信息 数据 。 专 业 人 员 对 这 些 得 到 的 
数据 进行 系统 的 分 析 、 计 算 ， 最 终 得 出 比较 准确 的 负荷 预测 。 同 时 对 已 经 存在 的 数据 进行 
校正 ， 得 到 更 为 准确 的 数据 。 然 后 采用 电力 综合 系统 对 数据 进行 应 用 ， 这 时 ， 配 电网 可 以 
随机 搜集 需要 的 数据 ， 如 瞬时 电压 、 瞬 时 电流 、 瞬 时 功率 及 振荡 频率 等 有 关 电 数据 ， 通 
过 数据 的 计算 判断 规划 的 可 行 性 。 此 外 ， 还 可 以 通过 历史 数据 统计 ， 分 析 设备 的 故障 原 
因 、 故 障 方式 、 故 障 位 置 等 ， 总 结 故障 规律 ， 排 查 设备 家 族 性 缺陷 ， 这 样 有 助 于 规划 解 
决 方案 。 


10.7.4 电网 线 损 监测 分 析 


线 损 率 是 衡量 电网 企业 综合 管理 水 平和 经 营 效益 的 一 项 重要 经 济 技术 指标 ， 加 强 线 损 
管理 是 电网 企业 一 项 长 期 的 战略 任务 和 系统 工程 。 近 年 来 ， 公 司 通 过 完善 “ 线 损 四 分 ” 管 
理 模 式 ， 积 极 开展 管理 挖潜 和 技术 降 损 工作 ， 综 合 线 损 稳 中 有 降 ， 但 由 于 台 区 线 损 基础 数 
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据 不 全 、 专 业 间 数据 共享 程度 不 高 、 现 代 管 理 手段 匮乏 ， 加 之 各 地 区 对 线 损 重视 程度 存在 
差异 ， 线 损 提 质 增 效 仍 有 空间 。 

按照 《 国 网 运 监 中 心 关于 印发 国家 电网 公司 2016 年 运营 监测 〈 控 ) 工作 要 点 的 通知 》 
〈 运 监 综合 [2016]1 号 ) 、《 国 网 运 监 中 心 关于 开展 监测 业务 常态 运行 的 通知 》〈 运 监 系 
统 监 [2016]3 号 ) 要求 ， 为 更 好 地 发 挥 “ 铁 算盘 ”和 “预警 机 ”的 功能 与 作用 ， 省 市 两 级 
运 监 立足 “服务 公司 党 组 、 服 务 专业 部 门 、 服 务 基层 单位 ”的 工作 定位 ， 从 降 损 趋势 、 量 
损 关 联 、 地 区 差异 和 结构 比 对 等 角度 ， 基 于 全 业务 统一 数据 中 心 ， 应 用 大 数据 分 析 技术 开 
展 电网 线 损 监 测 分 析 ， 加 强 成 果 应 用 和 大 屏 展示 ， 以 “ 强 基 础 、 抓 攻坚 、 管 长 远 ” 为 主 
题 ， 引 领 线 损 管 理 ， 提 升 线 损 精益 化 管控 水 平 。 

基于 大 数据 平台 的 电网 线 损 监测 分 析 ， 实 现 线 损 数 据 的 采集 、 汇 总 、 分 析 ， 对 当月 
及 累计 线 损 率 完成 情况 、 走 势 进 行 分 析 ， 重 点 分 析 造 成 线 损 率 异动 波动 的 主要 原因 ， 全 面 
展示 统计 线 损 及 理论 线 损 的 分 布 情况 ， 实 现 电 网 损耗 构成 分 析 ， 支 撑 电 量 与 线 损 管理 标准 
化 、 智 能 化 和 精益 化 。 

通过 对 各 供电 单位 线 损 率 、 售 电量 、 供 电量 等 历史 数据 进行 分 析 总 结 ， 痢 析 线 损 率 与 
全 社会 售 电量 分 布 特征 ， 统 计 分 析 与 降 损 效益 联系 紧密 的 特征 数据 ， 可 掌握 各 单位 用 电 结 
构 的 一 般 规 律 和 特例 。 


10.7.5 95598 供 电 质 量 投诉 关联 监测 分 析 场 景 


95598 供 电 质 量 投诉 关联 监测 分 析 的 应 用 ， 实 现 了 95598 供 电 质 量 投诉 的 线路 台 区 监 
测 、95598 供 电 质 量 投诉 关联 PMS 技 改 大 修 项 目 监测 、95598 供 电 质 量 关 联 计划 停电 监测 、 
大 修 、 技 改 项 目 涉及 设备 情况 监测 。 该 应 用 加 强 故 障 抢修 、 供 电 质 量 投诉 一 体 化 管控 ， 优 
化 停电 检修 流程 ， 提 高 工作 质量 与 效率 ， 减 少 检修 操作 停电 时 间 ， 注 重 故障 抢修 效率 和 质 
量 ， 从 源头 控制 引发 投诉 的 风险 ， 推 进 “你 用 电 、 我 用 心 ”新 服务 理念 不 断 深化 。 

95598 供 电 质 量 投诉 关联 监测 分 析 应 用 场景 旨 在 通过 数据 分 析 挖掘 ， 为 规划 、 计 划 制 
定 提供 依据 。 该 应 用 基于 全 业务 统一 数据 中 心 整 体 架构 进行 设计 ， 包 含 数据 整合 、 存 储 、 
计算 和 统一 分 析 服 务 4 部 分 内 容 ， 主 要 针对 全 业务 统一 数据 中 心 分 析 域 工 单 明细 、 线 路 、 
台 区 、 用 电 客 户 、 计 量 点 、 技 改 大 修 项 目 、 计 划 停 电 明细 和 规范 工 单 明细 等 历史 业务 数据 
进行 计算 统计 、 报 表 分 析 和 数据 挖掘 。 

该 应 用 建立 了 服务 价值 视图 ， 数 据 治理 成 果 可 视 化 展示 ， 达 到 对 数据 治理 、 开 发 、 开 
放 运 营 效果 的 有 效 监 测 。 服 务 价值 视图 通过 95598 投 诉 工 单 、 线 路 、 台 区 、 设 备 、 技 改 大 
修 等 指标 集中 体现 企业 数据 对 内 数据 营销 与 对 外 服务 为 企业 做 出 的 贡献 及 带 来 的 价值 。 

该 应 用 提出 了 分 时 节 、 分 设备 的 细 颗 粒度 95598 投 诉 行为 特征 分 析 模 型 ， 多 维度 、 多 
角度 挖掘 95598 供 电 质量 投诉 关联 信息 ， 针 对 性 地 提出 避免 投诉 建议 ， 提 升 客户 满意 度 。 

该 应 用 规范 了 停电 计划 关联 分 析 涉 及 台 区 的 停电 检修 ， 聚 焦 供 电 质 量 重 复 投 诉 涉及 的 
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线路 和 台 区 ， 精 准 定位 问题 台 区 与 线路 ， 进 一 步 促 进 业务 融合 ， 为 规划 、 计 划 制 定 提供 依 
据 ， 为 提升 配 电网 运 维 管理 水 平 提供 支撑 ， 为 跨 部 门 、 跨 专业 协同 提供 服务 ， 提 升 企业 的 
管理 和 运营 效率 。 


10.7.6 政策 性 电价 和 清洁 能 源 补贴 预测 场景 


挖掘 政策 性 电价 和 清洁 能 源 补贴 办 法 与 用 户 发 、 用 电 行为 之 间 的 关联 关系 以 及 政策 性 
电价 之 间 的 相互 影响 关系 ， 可 有 效 地 评估 政策 性 电价 和 清洁 能 源 补 贴 办 法 的 执行 效果 ， 然 
后 通过 价格 杠杆 鼓励 节能 、 提 升 电 能 利用 率 、 促 进 电能 供需 平衡 、 实 现 用 户 驱动 的 削 峰 填 
谷 、 降 低 电 采暖 用 户 电费 开支 、 支 撑 清洁 能 源 发 展 ， 为 国家 制定 各 类 政策 性 电价 和 清洁 能 
源 补 贴 政策 以 及 相关 政策 的 调整 提供 决策 依据 。 

政策 性 电价 和 清洁 能 源 补贴 场景 分 析 主 要 通过 数据 挖掘 与 探索 ， 构 建 政策 性 电价 和 清 
洁 能 源 补贴 执行 效果 评估 模型 ， 深 入 开展 阶梯 电价 、 峰 谷 电价 、 采 暧 电 价 、 清 洁 能 源 补贴 
等 执行 效果 评估 分 析 ， 深 度 挖掘 各 类 数据 结构 ， 在 时 间 跨 度 和 空间 广度 范围 分 析 用 户 用 电 
行为 模式 。 

此 外 ， 通 过 对 来 自 于 营销 数据 库 的 关于 政策 性 电价 和 清洁 能 源 补 贴 的 源 数据 ，《〈 包 
括 内 部 数据 用 户 用 电量 、 电 网 负荷 、 客 户 侧 分 布 式 电源 信息 、 分 布 式 电源 用 户 网 购 电量 信 
息 ) 和 外 部 数据 〈 气 象 信息 、 节 假日 信息 、 企 业 开 工 信 息 ) 进行 挖掘 分 析 ， 来 实现 对 政策 
执行 效果 的 评估 。 
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11.1 大 数据 、 大 挑战 


大 数据 率先 在 互联 网 、 电 信 、 金 融 等 行业 出 现 ， 随 着 对 大 数据 价值 的 深入 发 据 ， 其 作 
用 和 价值 得 到 企业 和 社会 的 认可 ， 各 国政 府 也 陆续 启动 了 国家 层面 的 大 数据 研究 工作 。 

随 着 我 国信 息 技术 的 高 速 发 展 ， 在 信息 获取 技术 、 互 联网 以 及 社交 网 络 等 方面 都 取 
得 了 较 大 的 进展 ， 这 直接 导致 了 数据 规模 的 大 幅度 提升 。 人 们 可 以 在 任何 地 点 获取 最 新 
的 实时 资讯 ， 最 大 限度 地 享受 到 了 信息 社会 带 来 的 便利 ， 极 大 地 促进 了 全 球 数 字 信 息 资 
源 的 增长 。 

在 电力 行业 ， 由 于 大 数据 时 代 的 到 来 而 面临 着 很 大 的 发 展 机 遇 ， 同 时 也 将 面 对 严 峻 
的 挑战 。 随 着 我 国 智能 电网 建设 的 全 面 铺 开 ， 我 国 在 电力 行业 的 数据 量 将 会 提升 一 个 数量 
级 ， 数 据 来 源 以 及 数据 结构 将 会 更 加 多 元 化 。 


11.1.1 大 数据 与 电力 大 数据 之 间 的 关系 


作为 国家 的 重大 基础 性 设施 之 一 ， 电 力行 业 的 发 展 与 人 们 的 生活 有 着 非常 密切 的 联 
系 。 只 有 电力 行业 稳定 发 展 ， 国 家 经 济 社会 才能 确保 持续 稳定 发 展 。 

随 着 电力 工业 化 与 信息 化 在 我 国 的 不 断 融合 ， 在 企业 决策 以 及 运营 等 方面 ， 电 力 企业 
对 电力 信息 的 依存 度 正在 逐步 增强 。 这 种 不 断 融 合 使 得 电力 企业 在 以 上 几 个 方面 具备 了 大 
数据 时 代 的 相关 特征 ， 因 此 ， 电 力 信 息 化 将 会 不 断 发 展 ， 进 而 衍生 出 更 多 的 增值 服务 ， 甚 
至 产生 新 的 运营 管理 模式 。 


11.1.2 ”电力 大 数据 的 应 用 前 景 


电力 企业 的 生产 数据 不 仅仅 包括 电压 稳定 性 以 及 发 电量 等 实时 采集 到 的 数据 ， 还 包括 
云 计算 、 移 动 互联 、 物 联网 、 新 能 源 等 新 业务 的 数据 。 

对 数据 之 间 的 规律 和 关系 进行 深入 挖掘 是 电力 大 数据 的 内 在 价值 所 在 ， 如 果 能 够 对 这 
些 实际 数据 进行 深入 分 析 ， 使 其 产生 更 多 的 高 附加 值 服务 ， 则 这 些 成 果 将 对 电网 的 安全 检 
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测 与 控制 、 客 户 用 电 过 程 中 的 行为 分 析 以 及 电力 企业 相关 部 门 的 更 加 精细 化 运营 管理 产生 
直接 的 影响 ， 进 而 整体 提高 电力 企业 的 运行 效率 ， 最 大 限度 降低 成 本 ， 使 管理 、 运 行 、 维 
护 更 加 快捷 高 效 。 

电力 大 数据 的 价值 在 于 挖掘 数据 之 间 的 规律 和 关系 ， 满 足 企业 电力 生产 、 经 营 管理 和 
电力 服务 在 提高 质量 、 效 益 、 效 率 方面 的 需要 ， 促 进 电力 资源 的 优化 配置 和 高 效 服务 。 

在 企业 内 部 ， 对 电力 生产 的 各 环节 数据 进行 融合 、 发 据 ， 有 利于 发 现 电力 生产 的 薄弱 
环节 和 寻找 改进 措施 ， 开 展 电 网 发 展 规划 、 电 厂 运行 管 理 、 企 业 运营 监测 分 析 ， 通 过 大 数 
据 的 分 析 结 果 来 指导 企业 的 日 常 管理 和 经 营 决 策 。 

例如 ， 在 电力 生产 领域 开展 电力 实时 线 损 计 算 ， 利 用 智能 电表 采集 的 海量 能 量 数据 ， 
实时 计算 分 区 、 分 压 、 分 线 、 分 台 区 等 不 同 范围 的 线路 损耗 ， 为 电网 调度 、 交 易 和 检修 
提供 支撑 ， 便 于 经 济 、 可 靠 地 安排 电网 运行 方式 ， 提 高 电力 资源 配置 能 力 。 在 用 电 服 务 领 
域 ， 开 展 用 电 互 动 服务 ， 实 时 反馈 购 电 、 用 电信 息 ， 对 用 电能 效 进行 综合 评价 并 提出 节能 
建议 ， 对 剩余 电量 进行 友情 提示 ， 促 进 一 些 电力 消费 转移 到 价格 便宜 的 峰 谷 时 段 ， 减 少 高 
峰 用 电 ， 延 迟 新 建 电力 设施 的 需求 ， 这 将 全 面 变革 电力 消费 和 使 用 模式 ， 促 进 能 源 节约 与 
优化 利用 。 

在 电力 企业 外 部 ， 电 力 大 数据 更 多 地 反映 了 电力 发 展 支撑 经 济 发 展 的 需要 以 及 服务 经 
济 社会 情况 。 作 为 一 种 时 效 性 、 准 确 性 较 高 的 数据 ， 电 力 数据 被 广泛 应 用 于 分 析 经 济 发 展 
水 平 、 经 济 走势 、 产 业 分 布 状况 及 政策 实施 效果 等 科学 问题 ， 为 政策 制定 和 宏观 经 济 决策 
调整 提供 有 力 支 持 ， 通 过 分 析 用 电量 与 第 一 、 第 二 、 第 三 产业 之 间 的 关系 ， 研 究 经 济 增长 
与 产业 结构 的 变化 特点 ， 并 对 未 来 几 年 的 电力 需求 情况 进行 了 预测 。 

电力 大 数据 与 互联 网 数据 、 天 气 数据 、 经 济 数据 、 交 通 数据 、 电 动 汽车 数据 等 社会 
数据 融合 ， 一 方面 促进 智慧 城市 的 建设 ， 为 用 户 提供 便捷 的 电力 服务 ， 另 一 方面 为 政策 制 
定 、 公 共事 业 管理 以 及 商业 经 营 提 供 有 益 帮助 。 


11.1.3 ”电力 行业 大 数据 的 挑战 


电力 大 数据 蕴含 着 巨大 的 商业 价值 和 社会 价值 ， 挖 掘 电 力 大 数据 的 价值 会 有 巨大 的 
机 遇 。 智 能 电网 基于 数据 和 能 源 的 同步 传输 ， 促 进 能 源 与 信息 技术 的 深度 融合 ， 逐 渐 形 成 
了 以 能 源 、 数 据 为 运行 体系 支撑 下 的 坚强 可 靠 、 清 洁 环保 、 友 好 互动 的 能 源 管理 网 络 。 电 
力 大 数据 在 经 济 、 能 源 、 民 生 等 方面 展现 着 巨大 的 综合 价值 ， 还 从 生活 、 生 产 及 运行 等 各 
领域 全 面 支撑 着 智慧 城市 建设 ， 从 能 源 管理 角度 讲 ， 数 据 就 是 能 源 。 通 过 延伸 到 家 庭 、 楼 
字 、 企 业 的 广泛 覆盖 的 数据 采集 网 络 和 深度 的 电力 大 数据 挖掘 ， 可 实现 智能 、 在 线 互 动能 
耗 数据 、 实 时 响应 电价 ， 实 现 能 源 梯次 循环 及 高 效 利 用 ， 大 幅 提 升 能 效 管理 水 平 ， 为 节能 
改造 提供 依据 ， 为 政府 政策 制定 、 节 能 减 排 管理 、 宏 观 经 济 运行 等 提供 智能 决策 ， 为 城市 
经 济 的 绿色 发 展 提供 坚实 保障 。 
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下 一 代 智 能 电力 系统 将 产生 大 量 的 数据 。 但 是 电力 行业 在 进化 的 过 程 中 面临 的 问题 并 
不 是 简单 的 数据 量 的 问题 ， 它 是 整个 行业 面临 重 塑 的 机 遇 和 挑战 ， 即 如 何 从 海量 的 数据 中 
识别 可 用 的 数据 ， 评 估 潜 在 的 价值 ， 进 而 促进 整个 行业 的 转型 发 展 。 

1) 数据 质量 较 低 ， 数 据 管控 能 力 不 强 

在 大 数据 时 代 ， 数 据 质量 的 高 低 、 数 据 管控 能 力 的 强 弱 直 接 影响 到 数据 分 析 的 准确 性 
和 实时 性 。 目 前 ， 电 力行 业 数 据 在 可 获取 的 颗粒 程度 ， 数 据 获取 的 及 时 性 、 完 整 性 、 一 臻 
性 等 方面 的 表现 均 不 尽 人 意 ; 数据 源 的 唯一 性 、 及 时 性 和 准确 性 急需 提升 ， 部 分 数据 尚 需 
手动 输入 ; 采集 效率 和 准确 度 还 有 所 欠缺 ， 行 业 中 企业 缺乏 完整 的 数据 管控 策略 、 组 织 以 
及 管控 流程 。 

2) 数据 共享 不 畅 ， 数 据 集成 程度 不 够 

大 数据 技术 的 本 质 是 从 关联 复杂 的 数据 中 挖掘 知识 ， 提 升 数据 价值 ， 单 一 业务 、 类 
型 的 数据 即使 体 量 再 大 ， 缺 乏 共享 集成 ， 其 价值 也 会 大 打折 扣 。 目 前 电力 行业 缺乏 行业 
层面 的 数据 模型 定义 与 主 数据 管理 ， 各 单位 数据 口径 不 一 致 。 行 业 中 存在 较为 严重 的 
数据 壁 又， 业务 链条 间 也 尚未 实现 充分 的 数据 共享 ， 数 据 重 复 存 储 且 不 一 致 的 现象 较 
为 突出 。 

3) 防御 能 力 不 足 ， 信 息 安 全 面临 挑战 

电力 大 数据 由 于 涉及 众多 电力 用 户 的 隐私 ， 对 信息 安全 也 提出 了 更 高 的 要 求 。 电 力 企 
业 地 域 覆 盖 范 围 极 广 ， 各 单位 防护 体系 建设 不 平衡 ， 信 息 安全 水 平 不 一 致 ， 特 别 偏远 地 区 
单位 防护 体系 尚未 全 面 建立 ， 安 全 性 有 待 提高 。 行 业 中 企业 的 安全 防护 手段 和 关键 防护 措 
施 也 需要 进一步 加 强 ， 从 目前 的 被 动 防御 向 多 层次 、 主 动 防御 转变 。 

4) 承载 能 力 不 足 ， 基 础 设施 有 待 完善 

电力 数据 储存 时 间 要 求 和 海量 电力 数据 的 爆发 式 增长 对 IT 基础 设施 提出 了 更 高 的 要 
求 。 目 前 电力 企业 虽 大 多 已 建成 一 体 化 企业 级 信息 集成 平台 ， 能 够 满足 日 常 业 务 的 处 理 要 
求 ， 但 其 信息 网 络 传输 能 力 、 数 据 存储 能 力 、 数 据 处 理 能 力 、 数 据 交 换 能 力 、 数 据 展现 能 
力 以 及 数据 互动 能 力 都 无 法 满足 电力 大 数据 的 要 求 ， 尚 需 进一步 加 强 。 

5) 相关 人 才 众 缺 ， 专 业 人 员 供 应 不 足 

大 数据 是 一 个 轩 新 的 事业 ， 电 力 大 数据 的 发 展 需要 新 型 的 专业 技术 人 员 ， 例 如 大 数据 
处 理 系统 管理 员 、 大 数据 处 理 平台 开发 人 员 、 数 据 分 析 员 和 数据 科学 家 等 。 而 当前 行业 内 
外 此 类 技术 人 员 的 缺乏 将 会 成 为 影响 电力 大 数据 发 展 的 一 个 重要 因素 。 

6) 风险 巨大 的 公共 设备 系统 

公共 设备 网 络 与 商业 网 络 最 大 、 最 明显 也 最 重要 的 区 别 就 在 于 前 者 的 网 络 安全 将 直接 
影响 到 现实 世界 的 安全 和 可 靠 。 如 果 变 电器 或 变电站 的 数据 联网 配置 出 现 错误 ， 将 可 能 导 
致 极其 严重 的 后 果 ， 这 些 设施 的 工作 人 员 和 周边 居民 的 安全 将 受到 威胁 ， 并 且 整 个 电网 的 
可 靠 性 和 稳定 性 也 可 能 遭 到 严重 破坏 。 这 就 是 智能 电网 对 网 络 安全 的 要 求 与 其 他 网 络 存在 
区 别 的 最 大 原因 。 对 一 般 网 络 而 言 ， 即 使 出 现 故 障 也 不 会 给 安全 和 整个 经 济 造成 风险 〈 医 
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疗 卫 生 和 人 金融 基础 设施 除外 ) 。 对 于 不 断 发 展 的 智能 电网 来 说 ， 与 电网 相连 的 终端 设备 承 
担 起 关键 任务 ， 必 须 确保 其 不 会 对 电网 安全 产生 直接 影响 。 

在 构建 智能 电网 时 ， 我 们 是 在 电力 系统 的 基础 上 来 创建 通信 能 力 和 信息 能 力 的 。 现 有 
网 络 的 智能 化 是 在 不 断 进化 的 。 发 电 、 输 电 和 配 电 的 行业 控制 系统 应 用 程序 与 公用 设备 的 
信息 技术 (IT) 系统 相 整 合 ， 构 成 了 公司 和 商业 信息 网 络 。 作 为 智能 电网 的 构建 基础 ， 这 
一 整合 对 网 络 安全 提出 了 更 严格 的 要 求 。 

智能 电网 的 安全 性 、 可 靠 性 和 稳定 性 三 者 间 的 相互 作用 对 整个 网 络 而 言 十 分 重要 。 发 
电 设 备 故障 或 恶劣 的 天 气 等 不 可 靠 条 件 会 导致 不 稳定 事件 的 发 生 ， 而 所 有 不 稳定 因素 都 会 
对 系统 的 可 靠 性 造成 破坏 。 一 些 危 害 安全 的 行为 可 能 对 发 电 系统 的 可 靠 性 和 稳定 性 构成 威 
胁 。 有 的 危害 行为 看 似 常见 的 可 靠 性 或 稳定 性 问题 ， 因 而 被 忽略 延误 了 发 现 安全 危害 的 时 
机 。 这 三 者 的 关系 是 相辅相成 的 ， 一 个 因素 的 改善 也 会 对 另外 两 者 产生 积极 影响 ， 但 归根 
结 底 ， 要 端 对 端 地 从 整体 上 提升 智能 电网 的 安全 性 、 可 靠 性 和 稳定 性 ， 最 佳 的 解决 方案 还 
是 要 首先 确保 安全 ， 这 样 就 能 同时 确保 网 络 的 可 靠 性 和 稳定 性 。 

7) 对 通路 类 型 的 适应 性 

智能 电网 不 但 安全 风险 系数 更 高 ， 其 安全 保障 的 构建 原理 也 与 众 不 同 。 过 去 ， 行 业 控 
制 系统 的 关键 信息 交换 都 是 通过 专门 的 点 对 点 网 络 基 础 设施 进行 的 ， 其 构建 基础 是 专利 通 
信 技 术 ， 信 息 交换 的 界面 也 较为 模糊 。 它 与 其 他 商业 运行 网 络 不 存在 接触 点 ， 因 为 当时 不 
需要 信息 的 连通 性 ， 相 对 独立 能 够 带 来 安全 。 而 在 如 今 的 智能 电网 时 代 ， 设 备 的 行业 控制 
系统 将 与 公司 网 络 和 商业 信息 系统 相 整 合 ， 这 样 可 以 利用 现 有 的 系统 内 容 ， 却 也 同时 带 来 
了 更 高 的 风险 。 

网 络 不 同 部 分 对 安全 度 的 要 求 是 相似 的 ， 但 不 完全 相同 。 一 个 普通 的 IT 系统 应 达到 三 
大 网 络 安全 目标 ， 按 优先 顺序 ， 分 别 是 数据 的 保密 性 、 整 合 性 和 可 得 性 〈CIA) 。 其 中 保 
密 性 指 的 是 网 络 用 户 是 否 是 获得 授权 的 数据 接收 方 或 数据 来 源 ， 整 合 性 是 问题 数据 是 原始 
数据 ， 还 是 已 被 修改 ， 而 可 得 性 则 是 ， 当 要 获得 信息 时 ， 是 否 会 产生 获得 响应 遭 拒绝 的 情 
况 。 虽 然 还 有 很 多 因素 需要 在 不 同 程度 上 加 以 考虑 ， 但 CIA 是 公司 网 络 和 商业 信息 网 络 所 
应 优先 达到 的 安全 目标 。 

如 果 我 们 转变 对 公用 事业 设备 的 行业 控制 系统 的 审视 角度 ， 保 密 性 风险 依然 存在 ， 但 
整合 性 和 可 得 性 的 重要 性 更 大 。 在 电网 中 ， 服 务 响应 遭 拒 是 最 严重 的 安全 风险 ， 因 为 能 否 
及 时 获得 信息 通常 是 最 为 重要 的 。 
因此 ， 在 寻求 智能 电网 的 网 络 安全 解决 方案 时 ， 适 应 能 力 是 关键 ， 必 须 同时 为 商业 网 
域 和 行业 控制 系统 网 域 动态 提供 安全 保障 。 当 安全 解决 方案 关注 于 处 理 商业 网 域 的 数据 或 
应 用 程序 ， 那 么 保密 性 应 被 视 为 优先 要 素 ; 而 如 果 解 决 方案 是 以 处 理 行业 控制 系统 为 主 ， 
那么 可 得 性 和 整合 性 就 应 为 优先 考虑 的 要 素 。 这 两 者 之 间 是 相互 影响 的 。 对 智能 电网 而 
言 ， 解 决 方案 必须 考虑 到 在 商业 网 域 中 特殊 事件 的 发 生 〈 如 公用 设备 公司 的 员工 未 按 规定 
完成 工作 等 ) 可 能 对 行业 控 检 系统 造成 的 影响 以 及 应 如 何 智 能 地 应 对 。 
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智能 电网 的 网 络 安全 解决 方案 不 能 是 单一 平面 的 静态 模式 ， 必 须 做 到 持续 地 适应 相互 
整合 的 不 同 网 域 中 发 生 的 各 种 事件 。 

8) 对 各 类 资源 的 适应 性 

智能 电网 领域 的 资源 多 样 性 也 是 对 网 络 安全 产生 适应 性 需求 的 原因 之 一 。IT 应 用 程序 
通常 是 在 台式 电脑 、 服 务 器 、 第 三 方 数据 中 心 或 智能 手机 上 运行 ， 这 些 设 备 的 数据 处 理 能 
力 是 极为 强大 的 ， 并 且 多 数 情 况 下 都 能 获得 宽带 连接 。 有 些 安全 解决 方案 对 信息 资源 采用 
高 等 级 加 秘技 术 ， 目 的 是 数据 不 能 被 解密 甚至 被 拦截 ， 此 类 安全 解决 方案 的 建立 基础 就 是 
资源 的 可 得 性 。 

然而 对 于 智能 电网 来 说 ， 我 们 需要 确保 所 有 进行 数据 交换 的 小 型 信息 设备 的 安全 性 。 
所 有 变压器 、 短 路 器 、 继 电器 、 交 换 器 和 其 他 变电站 设备 都 拥有 智能 电子 设备 TED) 进 
行 相互 交流 和 与 变电站 或 控制 站 点 联系 。 但 这 些 设 备 的 数据 处 理 能 力 和 所 连接 的 网 结 带宽 
则 相对 较 低 。 

公用 设备 无 法 承担 对 智能 电网 安全 的 “过 度 保障 ”， 即 在 整个 网 络 中 ， 盲 目地 对 所 
有 数据 和 应 用 程序 都 采用 同样 的 、 最 高 复杂 程度 的 安全 服务 措施 (例如 对 所 有 大 型 和 小 型 
的 设备 统一 自动 装载 补丁 ) 。 可 以 在 带宽 高 的 环境 下 使 用 的 安全 解决 方案 对 于 在 低 带 宽 环 
境 下 运行 的 低 数 据 处 理 能 力 的 设备 是 不 适用 的 。 同 一 种 方案 不 能 适用 所 有 情况 。 这 也 就 是 
说 ， 智 能 电网 的 安全 解决 方案 必须 能 够 根据 资源 的 可 得 性 进行 适应 性 调整 。 同 样 的 ， 各 IT 
和 能 源 、 程 序 工程 实践 间 的 不 同 也 将 对 安全 保障 程序 的 适应 性 提出 要 求 。 

因此 ， 有 必要 为 智能 电网 制定 额外 的 标准 ， 比 如 ， 目 前 还 没有 一 个 获 广泛 应 用 的 标准 
来 规范 适应 性 加 密 技术 的 要 求 。 尽 管 智能 电网 不 一 定 需要 新 的 、 特 别 定制 的 加 密 能 力 、 病 
毒 扫描 软件 或 认证 流程 等 ， 但 必须 制定 一 款 合理 的 程序 为 高 适应 性 系统 提供 安全 要 素 ， 以 
便 能 够 获得 端 对 端的 多 层次 数据 和 应 用 程序 以 及 合理 使 用 能 力 。 


11.1.4 ”电力 大 数据 发 展 策略 


电力 大 数据 的 发 展 更 多 的 是 一 种 整体 行业 意识 的 提高 ， 从 前 期 的 大 量 实践 来 看 ， 此 类 
应 用 是 多 种 现 有 成 熟 技术 的 综合 ， 解 决 的 是 优化 问题 。 大 数据 的 业务 需求 已 经 有 了 大 量 积 
淀 ， 趋 于 明确 ，“ 技 术 上 的 一 小 步 ， 便 可 带 来 思维 理念 的 一 大 步 ”。 业 内 专家 针对 大 数据 
的 中 国 前 景 已 经 有 了 大 量 讨 论 ， 对 大 数据 的 发 展 规划 已 初步 形成 共识 ， 例 如 ， 构 建 大 数据 
研究 平台 ， 即 国家 顶层 规划 、 整 合 创新 资源 ， 实 施 “ 专 项 计划 ”， 突 破 关键 技 术 ; 构建 大 
数据 良性 生态 环境 ， 制 定 支持 政策 ， 形 成 行业 联盟 ， 制 定 行业 标准 ， 构 建 大 数据 产业 链 ， 
促进 创新 链 与 产业 链 的 有 效 嫁接 。 电 力 系 统 作为 中 国 社会 的 基础 能 源 设 施 ， 行 业 理 念 的 提 
升 和 创新 带 来 的 效果 ， 经 过 社会 的 反馈 和 发 酵 ， 其 倍增 效应 将 极 大 地 推动 中 国 社会 整体 的 
跨越 式 发 展 。 
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11.2 ”发展 形势 和 重要 意义 


在 全 球 范围 内 ， 运 用 大 数据 推动 经 济 发 展 、 完 善 社会 治理 、 提 升 政 府 服务 和 监管 能 
力 正成 为 趋势 ， 有 关 发 达 国 家 相继 制定 实施 大 数据 战略 性 文件 ， 大 力 推动 大 数据 发 展 和 应 
用 。 目 前 ， 我 国 互联 网 、 移 动 互联 网 用 户 规模 居 全 球 第 一 ， 拥 有 丰富 的 数据 资源 和 应 用 市 
场 优 势 ， 大 数据 部 分 关键 技术 研发 取得 突破 ， 涌 现 出 一 批 互联 网 创新 企业 和 创新 应 用 ， 一 
些 地 方 政府 已 启动 大 数据 相关 工作 。 坚 持 创新 驱动 发 展 ， 加 快 大 数据 部 署 ， 深 化 大 数据 应 
用 ， 已 成 为 稳 增长 、 促 改革 、 调 结构 、 惠 民生 和 推动 政府 治理 能 力 现代 化 的 内 在 需要 和 必 
然 选择 。 


1. 大 数据 成 为 推动 经 济 转型 发 展 的 新 动力 


以 数据 流 引 领 技术 流 、 物 质 流 、 资 金 流 和 人 才 流 ， 将 深刻 影响 社会 分 工 协作 的 组 织 模 
式 ， 促 进 生产 组 织 方式 的 集约 和 创新 。 大 数据 推动 社会 生产 要 素 的 网 络 化 共享 、 集 约 化 整 
合 、 协 作 化 开发 和 高 效 化 利用 ， 改 变 了 传统 的 生产 方式 和 经 济 运行 机 制 ， 可 显著 提升 经 济 
运行 水 平和 效率 。 大 数据 持续 激发 商业 模式 创新 ， 不 断 催 生 新 业态 ， 已 成 为 互联 网 等 新 兴 
领域 促进 业务 创新 增值 、 提 升 企业 核心 价值 的 重要 驱动 力 。 大 数据 产业 正在 成 为 新 的 经 济 
增长 点 ， 将 对 未 来 信息 产业 格局 产生 重要 影响 。 


2. 大 数据 成 为 重 塑 国家 竞争 优势 的 新 机 遇 


在 全 球 信息 化 快速 发 展 的 大 背景 下 ， 大 数据 已 成 为 国家 重要 的 基础 性 战略 资源 ， 正 引 
领 新 一 轮 科 技 创新 。 充 分 利用 我 国 的 数据 规模 优势 ， 实 现 数据 规模 、 质 量 和 应 用 水 平 同步 
提升 ， 发 气 和 释放 数据 资源 的 潜在 价值 ， 有 利于 更 好 地 发 挥 数据 资源 的 战略 作用 ， 增 强 网 
络 空间 数据 主权 保护 能 力 ， 维 护 国家 安全 ， 有 效 提升 国家 竞争 力 。 


3. 大 数据 成 为 提升 政府 治理 能 力 的 新 途径 


大 数据 应 用 能 够 揭示 传统 技术 方式 难以 展现 的 关联 关系 ,推动 政府 的 数据 开放 共享 ， 
促进 社会 事业 数据 融合 和 资源 整合 ， 将 极 大 提升 政府 的 整体 数据 分 析 能 力 ， 为 有 效 处 理 
复杂 的 社会 问题 提供 新 的 手段 。 建 立 “ 用 数据 说 话 、 用 数据 决策 、 用 数据 管理 、 用 数据 创 
新 ”的 管理 机 制 ， 实 现 基于 数据 的 科学 决策 ， 将 推动 政府 管理 理念 和 社会 治理 模式 进步 ， 
加 快 建 设 与 社会 主义 市 场 经 济 体制 和 中 国 特色 社会 主义 事业 发 展 相 适 应 的 法 治政 府 、 创 新 
政府 、 廉 洁 政府 和 服务 型 政府 ， 逐 步 实现 政府 治理 能 力 现代 化 。 

随 着 近年 来 “两 化 融合 ”工作 的 整体 推进 ， 各 电力 企业 的 信息 化 建设 已 度 过 快速 成 长 
期 ， 初 具 规 模 。 信 息 化 系统 建设 的 数据 积累 已 经 得 到 企业 的 普遍 重视 ， 信 息 化 价值 的 提升 
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关键 期 也 悄然 而 至 ， 建 设 成 果 究 竞 是 “厚积薄发 ”还 是 “ 厚 积 厚 发 ”， 电 力 大 数据 可 谓 是 
个 关键 。 

未 来 的 智能 电力 系统 不 仅 承载 电力 流 ， 也 将 承载 着 信息 流 和 业务 流 ，“ 三 流 合 一 ” 
的 智能 电力 系统 的 价值 也 将 随 之 跃升 ， 而 这 种 跃升 显然 具有 大 数据 的 时 代 特 征 。 当 网 络 中 
传输 的 不 只 是 电能 ， 更 重要 的 还 有 数据 时 ， 电 力 系统 也 需要 积极 主动 地 去 探索 如 何 科 学 合 
理 地 释放 数据 能 量 ， 以 推动 传统 电力 工业 的 升级 ， 以 适应 未 来 经 济 社会 的 发 展 需要 。 电 力 
大 数据 的 价值 已 经 相当 庞大 ， 但 如 果实 现 进一步 延伸 ， 将 电力 大 数据 与 人 们 的 生产 生活 数 
据 ， 与 政府 企业 等 多 行业 数据 相 结合 ， 会 产生 更 多 更 大 的 价值 增值 潜力 ， 实 现 数据 价值 在 
电力 系统 外 部 的 流动 和 发 展 。 


11.3 大 数据 在 电网 企业 的 应 用 价值 


智能 电网 是 解决 能 源 安全 和 环境 污染 的 根本 途径 ， 是 电力 系统 的 必然 发 展 方向 ， 全 
球 能 源 互联 网 则 是 智能 电网 的 高 级 阶段 ，“ 互 联网 + 智慧 能 源 ” 进 一 步 丰 富 了 智能 电网 
的 内 涵 ， 这 些 新 概念 均 与 大 数据 密切 相关 ， 大 数据 为 智能 电网 的 发 展 和 运营 提供 了 全 景 
性 视角 和 综合 性 分 析 方 法 。 就 物理 性 质 而 言 ， 智 能 电网 是 能 源 电力 系统 与 信息 通信 系统 
的 高 度 融 合 ， 就 其 规划 发 展 和 运营 而 言 ， 智 能 电网 离 不 开 人 的 参与 ， 且 受到 社会 环境 的 
影响 ， 所 以 智能 电网 也 可 被 看 作 是 一 个 由 内 、 外 部 数据 构成 的 大 数据 系统 。 内 部 数据 由 
智能 电网 本 身 的 系统 产生 ， 外 部 数据 包括 可 反映 经 济 、 社 会 、 政 策 、 气 候 、 用 户 特 征 、 
地 理 环境 等 影响 电网 规划 和 运行 的 数据 。 在 智能 电网 的 发 展 过 程 中 ， 大 数据 必 将 发 挥 越 
来 越 重 要 的 作用 。 


1. 提升 运营 管理 水 平 


电力 系统 是 实现 电能 生产 、 传 输 、 分 配 和 消费 瞬时 平衡 的 复杂 大 系统 。 智 能 电网 需 
进一步 实现 各 类 新 能 源 、 分 布 式 能 源 、 各 种 储 能 系统 、 电 动 汽车 和 用 户 侧 系统 的 接 入 ， 并 
借助 信息 通信 系统 对 其 进行 集成 ， 实 施 高 效 的 管理 和 运行 。 风 、 光 、 海 洋 能 等 新 能 源 发 电 
的 发 展 和 电能 生产 受到 国家 政策 、 激 励 机 制 、 地 理 环境 和 天 气 状况 的 影响 ， 分 布 式 能 源 和 
电动 汽车 的 发 展 和 接 入 运行 、 用 户 侧 系统 与 电网 的 互动 受 社会 环境 、 用 户 心理 的 影响 ， 随 
着 智能 电网 的 发 展 ， 电 网 的 复杂 性 和 不 确定 性 进一步 加 剧 ， 不 同 环节 的 时 空 关联 性 更 加 密 
切 ， 使 电网 的 发 展 和 运行 受 外 部 因素 的 影响 加 大 。 与 此 同时 ， 社 会 对 电力 供应 的 经 济 、 安 
全 、 可 靠 性 和 电能 质量 提出 了 更 高 的 要 求 ， 智 能 电网 中 部 署 的 WANS 系 统 、AMI 系 统 、 调 
度 自动 化 系统 、PMS 系 统 、 输 变 电 设备 状态 监测 系统 等 为 认识 电网 特性 、 预 测 电网 发 展 和 
可 能 的 运行 风险 提供 了 依据 。 借 助 大 数据 技术 ， 对 电网 运行 的 实时 数据 和 历史 数据 进行 深 
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层 挖掘 分 析 ， 可 掌握 电网 的 发 展 和 运行 规律 ， 优 化 电网 规划 ， 实 现 对 电网 运行 状态 的 全 局 
掌控 和 对 系统 资源 的 优化 控制 ， 提 高 电网 的 经 济 性 、 安 全 性 和 可 靠 性 。 基 于 天 气 数据 、 环 
境 数据 、 输 变 电 设备 监测 数据 ， 可 实现 动态 定 容 、 提 高 输电 线路 利用 率 ， 也 可 提高 输 变 电 
设备 运 检 效 率 与 运 维 管理 水 平 ， 基 于 WANS 数 据 、 调 度数 据 和 仿真 计算 历史 数据 ， 分 析 电 
网 安全 稳定 性 的 时 空 关联 特性 ， 建 立 电网 知识 库 ， 在 电网 出 现 扰动 后 ， 快 速 预测 电网 的 运 
行 稳定 性 ， 并 及 时 采取 措施 ， 可 有 效 提高 电网 的 安全 稳定 性 。 近 年 来 国内 发 生 的 天 津 港口 
爆炸 、 湖 北 的 电梯 “ 吃 人 ”等 事故 ， 使 人 们 想起 海 恩 法 则 。 海 恩 法 则 针对 航空 界 的 飞行 安 
全 指出 ， 每 一 起 严重 事故 的 背后 ， 必 然 有 29 次 轻微 事故 和 300 起 未 遂 先 兆 以 及 1000 起 安全 
隐患 。 该 法 则 强调 了 两 点 : 一 是 事故 的 发 生 是 量 的 累积 的 结果 ; 二 是 再 好 的 技术 ， 再 完美 
的 规章 制度 ， 在 实际 操作 层面 也 无 法 取代 人 自身 的 素质 和 责任 心 。 结 合 这 一 法 则 ， 通 过 对 
实时 数据 和 历史 数据 的 分 析 ， 可 加 强 对 电力 设备 、 资 产 的 预防 性 维护 管理 ， 并 将 人 和 社会 
等 因素 纳入 进去 ， 优 化 管理 操作 流程 。 


2. 提高 用 户 服务 水 平 


用 户 端的 数据 是 一 个 待 挖掘 的 金 矿 。 大 数据 将 各 行 各 业 的 用 户 、 供 电 服务 、 发 电 商 、 
设备 厂商 融入 一 个 大 环境 中 ， 促 成 了 电网 企业 对 用 户 的 需求 感知 ， 依 据 数据 的 分 析 来 进行 
运行 调度 、 资 源 配 置 决策 ， 并 基于 分 析 来 匹配 服务 需求 。 

在 智能 电网 中 ， 用 户 扮 演 的 角色 越 来 越 重要 ， 传 统 意义 上 被 动 的 用 户 正在 被 主动 的 
“能 源 生产 /消费 者 (Prosumer) ”代替 。 用 户 系统 不 仅 可 对 内 实现 能 源 的 生产 和 消费 管 
理 ， 并 在 一 定 的 区 域内 实现 能 源 交 易 ， 还 将 对 外 参与 需求 响应 或 作为 虚拟 电站 参与 调度 运 
行 。 促 进 用 户 与 电网 的 互动 是 提高 大 电网 灵活 性 、 进 而 提高 其 接纳 大 规模 间歇 性 新 能 源 的 
有 效 途径 。 了 解 用 户 用 能 特性 ， 制 定 有 效 的 政策 和 市 场 机 制 ， 是 有 效 激励 用 户 改善 能 效 、 
参与 需求 响应 、 需 求 调度 的 途径 。 根 据 AMI 数 据 《〈 反 应 用 户 用 能 情况 、 用 户 分 电 式 发 电 、 
储 能 系统 和 电动 汽车 的 应 用 情况 ， 参 与 电网 互动 情况 ) ， 结 合用 户 特 征 数据 (住房 、 收 入 
和 社会 心理 ) 和 社会 环境 数据 (气候 、 政 策 激励 等 ) ， 可 分 析 预 测 用 户 的 能 源 生产 和 消费 
特征 ， 为 电网 规划 和 运行 方式 安排 提供 参考 ， 也 可 促进 电力 需求 侧 管理 ， 鼓 励 和 促进 用 户 
参与 需求 响应 ， 实 现 与 用 户 的 高 效 互动 ， 提 高 用 户 侧 能 效 水 平 ， 改 善 用 户 用 电 体 验 ， 提 高 
用 户 满意 度 。 


3. 提供 政府 决策 支持 


电网 作为 载体 承载 着 能 源 与 用 能 两 大 主体 ， 它 关联 着 诸多 因素 。 今 天 的 能 源 政策 与 机 
制 应 超出 基于 因果 关系 和 条 件 评 估 的 判断 ， 需 要 以 数据 为 基础 、 关 联 分 析 为 依据 的 决策 。 
例如 ， 电 价 特别 是 阶梯 电价 的 定位 ， 是 基于 综合 用 能 行为 数据 和 生产 、 生 活 各 因素 以 及 电 
力 生产 成 本 等 多 因素 进行 数据 分 析 ， 才 能 有 效 激活 各 个 因素 ， 实 现 最 佳 效 果 。 再 如 新 能 
源 、 分 布 式 能 源 、 电 动 汽车 、 需 求 响应 等 技术 的 大 规模 实施 ， 不 仅 取决 于 技术 成 熟 度 和 经 
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济 性 ， 还 取决 于 能 源 政策 和 各 种 激励 机 制 是 否 有 效 ， 通 常 并 没有 普遍 性 ， 而 是 应 符合 本 国 
的 实际 、 符 合 精准 的 感知 和 预测 。 

当前 我 国 已 开启 新 一 轮 的 改革 ， 一 系列 配套 文件 正在 逐步 出 台 。 这 些 政策 和 机 制 是 
否 有 利于 智能 电网 发 展 ， 应 在 政策 条 例 的 试行 阶段 进行 分 析 和 检验 ， 大 数据 是 最 有 效 的 手 
段 。 此 外 ， 电 力 与 经 济 发 展 、 社 会 稳定 和 群众 生活 密切 相关 ， 电 力 需求 变化 能 够 真实 、 客 
观 地 反映 国民 经 济 的 发 展 状况 与 态势 。 通 过 分 析 用 户 用 电 数 据 和 新 能 源 发 电 数据 等 信息 ， 电 
网 企业 可 为 政府 了 解 全 社会 各 行业 发 展 状况 、 产 业 结 构 布 局 、 预 测 经 济 发 展 走势 提供 数据 支 
撑 ， 为 相关 部 门 在 城市 规划 建设 、 推 广 新 能 源 和 电动 汽车 、 促 进 智慧 城市 发 展 等 方面 提供 
辅助 决策 。 


4. 支撑 未 来 电网 发 展 


国家 电网 公司 站 在 全 球 能 源 发 展 高 度 ， 提 出 了 全 球 能 源 互联 网 发 展 蓝图 ， 以 最 大 化 地 
开发 利用 新 能 源 。 实 现 能 源 资源 在 全 球 范 围 的 优化 配置 。 未 来 电网 具有 长 距离 、 广 范围 、 
泛 在 智能 和 共享 互联 的 特点 ， 将 发 生 电 网 运行 机 制 与 商业 模式 的 重 构 。 在 庞大 而 广泛 的 未 
来 电网 中 ， 将 呈现 电源 多 样 性 、 普 遍 性 、 时 移 性 、 负 荷 移动 性 、 互 动 性 ， 用 能 终端 大 量 信 
息 接 入 ， 各 类 管理 终端 大 量 介入 ， 要 求 电 网 具有 和 柔性 和 自 适应 能 力 ， 以 满足 送 受 端的 时 
间 、 空 间 和 方式 的 多 重复 杂 性 。 在 这 种 情况 下 ， 依 靠 传统 的 状态 信号 指令 无 法 完成 决策 ， 
需要 复杂 的 负荷 预测 、 分 析 及 及 时 呈现 ， 需 要 以 大 量 、 多 维 、 高 密度 的 数据 来 支撑 预测 、 
预警 、 机 器 决策 和 人 工 判断 。 在 智能 电网 向 更 高 阶段 发 展 过 程 中 ， 地 域 更 加 广泛 ， 需 要 基 
于 全 球 数据 实现 能 源 电力 大 范围 平衡 来 保障 电网 及 其 他 系统 的 安全 。 这 就 是 大 数据 对 电网 
发 展 与 未 来 电网 目标 实现 路 径 的 支撑 。 

随 着 信息 化 建设 推进 以 及 新 能 源 发 展 ， 下 阶段 各 专业 会 涌现 更 多 大 数据 应 用 需求 ， 包 
括 公 司 大 数据 和 其 他 行业 数据 的 关联 性 、 与 经 济 社会 发 展 之 间 的 关系 等 。 公 司 具备 非 常 好 
的 从 数据 运 维 角度 实现 更 大 程度 信息 、 知 识 发 现 的 条 件 和 基础 ， 从 而 实现 立足 数据 提供 运 
维 服务 ， 创 造 数据 增值 价值 ， 进 一 步 推动 电网 发 展 方式 和 公司 发 展 方式 的 转变 ， 为 公司 构 
建 全 球 能 源 互联 网 ， 推 动 实施 国家 大 数据 战略 ， 提 供 更 有 利 、 更 长 远 的 支撑 。 

随 着 大 数据 海量 化 、 多 样 化 、 快 速 化 、 价 值 化 特征 的 逐步 显现 ， 以 及 数据 资产 逐渐 成 
为 现代 商业 社会 的 核心 竞争 力 ， 大 数据 对 行业 用 户 的 重要 性 也 日 益 突出 。 掌 握 数据 资产 、 
进行 智能 化 决策 已 成 为 企业 脱颖而出 的 关键 。 因 此 ， 越 来 越 多 的 企业 开始 重视 大 数据 战略 
布局 ， 并 重新 定义 自己 的 核心 竞争 力 。 

大 数据 是 智能 电网 的 核心 ， 而 智能 电网 又 是 全 球 能 源 互 联网 发 展 的 重要 组 成 部 分 。 随 
着 大 数据 的 深入 应 用 ， 将 促使 公司 的 决策 从 “业务 驱动 ”转变 为 “数据 驱动 ”， 进 一 步 提 
升 企业 管理 的 效率 和 效益 。 同 时 ， 充 分 利用 这 些 基于 电网 的 数据 ， 深 入 分 析 后 挖掘 出 许多 
高 附加 值 的 服务 ， 将 有 利于 电网 安全 监测 与 控制 、 客 户 用 电 行 为 分 析 与 客户 细 分 、 电 网 企 
业 精 细 化 运营 管理 等 。 这 些 数据 就 像 冰 山 一 角 ， 隐 藏 在 水 面 下 的 信息 ， 只 要 能 够 利用 大 数 
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据 技 术 挖 掘 出 来 ， 就 往往 能 提升 公司 管理 效益 、 经 济 效益 以 及 社会 效益 ， 让 电网 企业 做 出 
更 准确 的 决策 ， 让 电网 更 智能 化 ， 让 电网 企业 更 具 竞 争 力 ! 


11.4 ”大 数据 决定 电网 企业 竞争 力 


在 我 们 思考 大 数据 为 什么 能 够 决定 电网 企业 竞争 力 之 前 ， 先 明确 两 个 概念 : 大 数据 和 
企业 竞争 力 。 

企业 竞争 力 是 指 在 竞争 性 市 场 条件 下 ， 企 业 通过 培育 自身 资源 和 能 力 ， 获 取 外 部 可 寻 
资源 ， 并 综合 加 以 利用 ， 在 为 顾客 创造 价值 的 基础 上 ， 实 现 自 身价 值 的 综合 性 能 力 ; 是 在 
竞争 性 的 市 场 中 ， 一 个 企业 所 具有 的 ， 能 够 比 其 他 企业 更 有 效 地 向 市 场 提 供 产 品 和 服务 ， 
并 获取 和 春 利 和 自身 发 展 的 综合 素质 。 大 数据 指 无 法 在 一 定时 间 范 围 内 用 常规 软件 工具 进行 
捕捉 、 管 理 和 处 理 的 数据 集合 ， 是 需要 新 处 理 模式 才能 具有 更 强 的 决策 力 、 洞 察 发 现 力 和 
流程 优化 能 力 的 海量 、 高 增长 率 和 多 样 化 的 信息 资产 。 从 某 种 程度 上 说 ， 大 数据 是 数据 分 
析 的 前 沿 技 术 。 简 言 之 ， 从 各 种 各 样 类 型 的 数据 中 ， 快 速 获得 有 价值 信息 的 能 力 ， 就 是 大 
数据 技术 。 

抓 住 了 机 遇 ， 等 于 成 功 了 一 半 。 对 于 大 数据 而 言 ， 也 是 如 此 。 

近年 来 ， 移 动 互联 网 异军突起 ， 加 快 了 信息 化 经 济 社会 各 个 领域 的 延伸 ， 形 成 了 独特 
的 产业 竞争 优势 。 中 国信 息 通信 研究 院 近期 发 布 的 《2017 年 中 国 大 数据 发 展 调查 报告 》 显 
示 ， 去 年 中 国 大 数据 市 场 规模 达到 168.0 亿 元 ， 增 速达 45%; 预计 2017 一 2020 年 中 国 大 数据 
市 场 规模 还 将 维持 30% 左 右 的 高 速 增长 。 可 以 肯定 的 是 ， 大 数据 将 逐步 为 人 类 创造 更 多 的 
价值 ， 而 对 于 电网 企业 来 说 ， 研 究 和 应 用 大 数据 是 提高 质量 、 增 强 效 率 和 推动 电网 发 展 方 
式 、 公 司 发 展 方式 转变 的 迫切 要 求 。 

同时 ， 随 着 中 国电 力 改革 的 不 断 深入 以 及 “ 厂 网 分 开 、 竞 价 上 网 ”制度 的 实施 ， 发 电 
企业 将 由 原来 计划 驱动 的 生产 、 运 营 模式 向 市 场 驱动 的 经 济 平衡 运营 模式 转变 。 发 电 企业 
必须 改变 以 往 传统 的 管理 模式 和 方法 ， 利 用 经 济 手段 管理 电厂 ， 依 照 市 场 经 济 规律 和 价值 
法 则 ， 增 强 自身 的 市 场 竞 能 力 。 

就 现 阶段 而 言 ， 电 力 公司 利用 智能 电表 通过 电网 每 隔 5 分 钟 或 10 分 钟 收集 一 次 数据 ， 
收集 来 的 这 些 数据 可 以 用 来 预测 客户 的 用 电 习 惯 ， 从 而 推断 出 在 未 来 2 一 3 个 月 时 间 里 ， 整 
个 电网 大 概 需要 多 少 电 。 有 了 这 个 预测 后 ， 就 可 以 向 发 电 或 者 供电 企业 购买 一 定数 量 的 
电 。 因 为 电 有 点 像 期 货 一 样 ， 如 果 提 前 购买 就 会 比较 便宜 ， 买 现货 就 比较 贵 。 依 据 预 测 获 
得 的 数据 来 购买 ， 可 以 降低 采购 成 本 。 
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11.5 大 数据 分 析 驱 动 电网 企业 创新 发 展 


电力 行业 蕴含 了 巨大 的 数据 资源 ， 同 时 也 呈现 出 突出 的 数据 价值 需求 。 据 估算 ， 电 力 
行业 的 生产 、 管 理 、 用 户 、 计 量 、 资 产 等 方面 数据 已 达到 20PB， 这 个 数字 相当 于 1000 个 
中 国 国家 图 书馆 的 数据 量 。 数 据 ， 表 面 看 是 信息 ， 但 提炼 分 析 后 就 能 找 出 相关 联 的 规律 ， 
再 借助 各 种 工具 分 析 规 律 就 变 成 了 决策 。 在 这 些 数据 资源 中 通过 分 析 计 算 ， 可 发 现 数据 间 
的 关联 性 ， 融 合 外 部 数据 可 找 出 内 在 的 客观 规律 ， 为 企业 、 行 业 解 决 生产 运行 和 管理 中 难 
以 用 现实 手段 解决 的 问题 ， 预 测 防 控 风 险 ， 提 升 创新 能 力 。 

当前 ， 电 网 业务 数据 大 致 分 为 3 类 : 一 是 电网 企业 生产 数据 ， 如 发 电量 、 电 压 稳定 性 
等 方面 的 数据 ;二 是 电网 企业 运营 数据 ， 如 交易 电价 、 售 电量 、 用 电 客 户 等 方面 的 数据 ; 
三 是 电网 企业 管理 数据 ， 如 ERP、 一 体 化 平台 、 协 同 办 公 等 方面 的 数据 。 电 网 企业 的 大 数 
据 具 有 量 大 、 分 布 广 、 类 型 多 等 特点 ， 背 后 反映 的 是 电网 运行 方式 、 电 力 生产 方式 以 及 客 
户 消费 习惯 等 信息 。 在 安全 保障 的 情况 下 ， 利 用 好 大 数据 还 要 以 电力 能 源 价值 链 延 伸 为 主 
线 ， 实 现 业 务 价值 链 向 电网 外 部 延伸 。 一 方面 ， 在 电力 供给 、 需 求 、 客 户 负荷 特征 等 数据 
分 析 的 基础 上 ， 注 重 对 用 户 的 数据 挖掘 和 价值 发 现 。 利 用 大 数据 技术 ， 在 需求 侧 管理 、 家 
庭 能 源 管理 、 节 能 服务 、 智 能 家 居 、95598 客 户 服务 等 业务 中 拉 近 公司 与 用 户 的 距离 ， 挖 
据 用 户 行为 特点 ， 另 一 方面 ， 由 支撑 内 部 管理 转向 提供 外 部 服务 ， 将 数据 资产 作为 一 项 产 
品 或 服务 进行 变现 。 

研究 表明 ， 来 自 于 复杂 大 电网 的 调度 运行 、 新 能 源 与 负荷 的 时 间 和 空间 变异 、 电 力 资 
产 寿 命 与 运行 状态 、 主 动 配 电 与 需求 响应 等 领域 都 存在 着 巨大 的 以 大 数据 为 支撑 的 决策 与 
配置 的 需求 。 

大 数据 驱动 智能 电网 技术 水 平 提升 。 随 着 特 高 压 为 主体 的 大 电网 快速 发 展 ， 全 程 全 网 
的 物理 信息 与 时 空 关联 性 更 加 密切 。 同 时 ， 大 规模 新 能 源 发 电 、 分 布 式 电源 、 储 能 系统 、 
电动 汽车 的 广泛 接 入 改变 了 传统 电网 的 形态 ， 在 兼容 性 、 开 放 性 不 断 提高 的 同时 ， 电 网 受 
到 外 部 因素 的 影响 加 大 。 

当前 及 未 来 的 电网 将 有 两 大 鲜明 的 特征 ， 一 是 网 络 坚强 与 巨 容 的 平台 化 ， 二 是 接 入 庞 
杂 与 泛 在 的 互联 性 ， 这 需要 新 的 电网 技术 思维 。 

首先 对 于 基于 估 值 的 预测 和 高 元 余 配置 的 安全 保障 以 及 设备 状态 的 条 件 判 决 的 方法 ， 
可 借助 大 数据 进行 多 因素 、 高 密度 、 全 环节 、 大 规模 的 数据 计算 ， 实 现 对 外 部 因素 与 系统 
状态 精准 的 预测 和 辨识 、 对 电网 运行 状态 的 全 局 掌控 和 对 系统 资源 的 优化 控制 ， 保 障 大 电 
网 整体 性 运行 ， 其 次 对 于 复杂 的 负荷 动态 与 互动 响应 ， 借 助 于 大 数据 来 预测 感知 ， 实 现 调 
配 平衡 、 柔 性 接纳 和 时 空 优化 。 研 究 中 发 现 : 基于 气象 数据 、 环 境 数 据 、 输 变 电 设 备 监控 
数据 ， 可 实现 动态 定 容 、 提 高 输电 线路 利用 率 ; 基于 WAMS 数 据 、 调 度数 据 和 仿真 计算 历 
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史 数 据 ， 可 分 析 电 网 安全 性 的 时 空 关联 特性 ， 快 速 预测 电网 的 运行 风险 ， 基 于 配 用 电 数 据 
和 社会 经 济 数据 ， 可 实施 更 加 高 效 的 停电 管理 、 需 求 响应 、 电 能 质量 监测 管理 ， 基 于 对 电 
网 实时 数据 和 历史 数据 的 分 析 ， 可 加 强 对 电力 设备 、 资 产 的 预防 性 维护 管理 ， 并 考虑 人 和 
社会 等 因素 ， 优 化 安全 生产 管理 流程 。 

大 数据 驱动 电网 企业 决策 模式 变革 。 大 数据 从 本 质 上 说 是 站 在 决策 的 角度 出 发 ， 从 数 
据 获 取 、 整 合 、 加 工 、 分 析 ， 全 流程 都 代替 人 脑 进行 信息 处 理 ， 通 过 广泛 的 关联 数据 产生 
出 服务 于 决策 的 高 完整 性 的 有 效 信 息 ， 数 据说 话 代替 经 验 决 策 。 大 数据 为 电网 企业 提供 了 
认识 电网 运行 和 发 展 规律 的 新 方法 、 新 视角 。 利 用 大 数据 的 挖 据 、 分 析 、 预 测 和 流程 整合 
功能 ， 可 对 电网 运行 发 展 进行 全 流程 动态 管理 ， 企 业 通 过 广泛 收集 和 分 析 挖掘 智能 电网 本 
身 产 生 的 内 部 数据 ， 以 及 包括 经 济 、 社 会 、 政 策 、 气 候 、 用 户 特征 、 地 理 环 境 在 内 的 外 部 
数据 ， 提 取 有 价值 的 历史 信息 ， 为 电网 的 规划 建设 提供 支撑 ， 电 网 企业 可 通过 数据 资源 体 
系 的 数据 加 工 与 经 营 管理 指标 关联 ， 通 过 挖掘 业务 流程 各 个 环节 的 中 间 数 据 和 结果 数据 来 
发 现 流程 中 的 瓶颈 因素 ， 找 到 改善 效率 降低 成 本 的 关键 ， 把 面向 业务 的 数据 转换 成 面向 管 
理 的 数据 ， 辅 助 领导 层 决策 。 大 数据 改变 电网 企业 的 决策 模式 还 体现 在 决策 由 过 去 的 被 动 
问题 解决 变 成 主动 预 判 ， 决 策 模 式 由 业务 驱动 变 成 数据 与 业务 联合 驱动 。 

大 数据 驱动 电网 企业 服务 水 平 提升 。 电 网 所 服务 的 电源 与 负荷 两 端 用 户 的 数据 是 一 
个 富矿 。 大 数据 技术 将 电源 、 电 网 、 各 大 行业 和 居民 用 户 、 设 备 厂商 等 各 利益 相关 方 融 入 
一 个 大 环境 中 。 大 数据 促成 了 电网 企业 对 用 户 的 需求 感知 ， 依 据 数 据 的 分 析 来 进行 运行 调 
度 、 资 源 配置 、 决 策 ， 并 基于 分 析 来 匹配 服务 需求 。 在 智能 电网 中 ， 用 户 扮演 的 角色 越 来 
越 重要 ， 主 要 呈现 的 是 状态 和 互动 。 一 方面 是 能 源 生产 和 消费 的 状态 随机 ， 另 一 方面 是 互 
动 的 需求 。 生 产 与 消费 行为 过 程 增加 了 人 的 欲望 和 利益 空间 ， 用 户 系统 不 仅 实现 了 能 源 的 
生产 和 消费 选择 ， 并 在 一 定 区 域内 实现 交易 ， 还 将 参与 需求 响应 或 作为 虚拟 电站 参与 调度 
运行 ， 在 这 样 的 要 求 下 ， 电 网 智能 化 与 互联 网 的 路 径 相似 ， 平 台 资源 共享 ， 大 范围 平衡 ， 
才能 保证 电网 的 柔性 外 特性 和 对 送 受 端 变异 的 自 适应 。 而 支撑 这 一 机 制 的 是 大 数据 ， 通 过 
大 数据 的 分 析 ， 预 测 电源 能 力 和 用 能 需求 ， 根 据 计量 传 感 数据 下 的 用 户 用 能 、 分 布 式 、 储 
能 、 电 动 汽车 等 数据 ， 结 合 社会 环境 ， 可 分 析 预 测 用 户 的 生产 、 消 费 特征 ， 为 电网 运行 方 
式 提供 依据 ， 也 提高 了 用 户 侧 的 能 效 水 平 。 

用 户 洞察 是 大 数据 的 核心 价值 ， 互 联网 企业 正 是 运用 大 数据 进行 用 户 的 细微 理解 和 市 
场 洞察 而 获 益 。 在 电力 营销 中 可 以 通过 大 数据 进行 需求 与 用 能 行为 的 监测 分 析 ， 进 行 效果 
评估 ， 这 将 使 营销 更 有 针对 性 ， 甚 至 产生 许多 有 价值 的 信息 。 

用 户 数 据 蕴 含 着 丰富 的 商业 价值 ， 阿 里 云 等 企业 已 计划 广泛 收集 新 能 源 发 电 的 数据 和 
家 电 用 能 的 数据 。 一 些 数据 公司 和 互联 网 金融 公司 对 我 们 的 用 电 采 集 信息 寄予 厚望 。 从 这 
些 数据 需求 者 的 目的 来 看 ， 他 们 不 仅 是 在 某 种 因果 逻辑 下 应 用 ， 更 多 的 是 应 用 于 关联 关系 
作用 下 的 商业 模式 。 例 如 ， 利 用 电表 信息 作为 商业 信誉 评估 和 针对 性 广告 ， 准 确 与 否 不 重 
要 ， 追 求 的 是 相关 性 是 否 存 在 ， 这 也 给 我 们 以 启示 。 


基于 大 数据 的 智慧 电网 技术 


用 能 数据 对 经 济 运行 的 反映 与 预测 是 政府 关注 的 ， 通 过 用 能 大 数据 的 分 析 ， 可 反映 经 
济 结构 的 动态 特征 和 趋势 ， 用 能 行为 数据 的 聚 类 可 反映 出 电价 机 制 的 调节 作用 程度 。 建 立 
用 能 数据 与 经 济 运行 和 政策 作用 的 联动 模型 ， 将 为 政府 提供 精准 有 价值 的 决策 信息 。 

大 数据 支撑 全 球 能 源 互 联网 。 国 家 电网 公司 站 在 全 球 能 源 发 展 高 度 ， 提 出 了 全 球 能 
源 互 联网 的 战略 构想 ， 全 球 能 源 互联 网 建立 了 以 能 源 为 主体 、 以 数据 为 核心 的 智能 化 能 源 
生态 系统 。 全 球 能 源 互联 网 最 大 化 地 开发 利用 清洁 能 源 ， 实 现 了 能 源 资源 在 全 球 的 优化 配 
置 。 全 球 能 源 互联 网 的 形态 特征 包含 了 地 理 环境 、 能 源 资源 、 负 荷 特性 、 用 户 行为 的 影响 
因素 ， 具 有 长 距离 、 广 范围 、 平 台 化 、 智 能 共享 互联 的 特点 ， 将 发 生 电网 运行 机 制 的 重 
构 ， 要 求 电网 具有 和 柔性 自 适 应 能 力 和 统筹 配 控 能 力 ， 满 足 送 受 端的 时 间 、 空 间 和 方式 的 多 
重复 杂 性 ， 需 要 全 域 负 荷 预测 与 实时 呈现 ， 支 撑 洲 际 广 域 大 电网 平台 机 体 的 整体 化 运转 ， 
因此 需要 大 量 、 多 维 、 高 密度 的 数据 来 支撑 预测 、 预 警 、 机 器 决策 和 人 工 判断 。 在 数据 安 
全 基础 上 的 数据 开放 和 分 享 ， 是 全 球 能 源 互 联网 的 基础 。 

全 球 能 源 互联 网 内 涵 丰 富 ， 外 延 广阔 。 在 全 球 能 源 互联 网 的 发 展 历程 及 实现 路 径 中 ， 
大 数据 相伴 相生 ， 将 为 其 发 展 和 运营 提供 全 球 性 视角 和 综合 性 分 析 方法 。 


